u1jodi1q 发表于 2024-8-20 10:47:03

让3D编辑像PS同样简单，GaussianEditor几分钟内完成3D场景增删改


    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">设备</span>之心专栏</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><strong style="color: blue;"><span style="color: black;">设备</span>之心编辑部</strong></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;">


      重播





      <div style="color: black; text-align: left; margin-bottom: 10px;">播放</div>

      <span style="color: black;">00:00</span>
      <span style="color: black;">/</span>
      <span style="color: black;">00:00</span>
      <span style="color: black;">直播</span>



      <div style="color: black; text-align: left; margin-bottom: 10px;">

            <div style="color: black; text-align: left; margin-bottom: 10px;">00:00</div>

      </div>





      <div style="color: black; text-align: left; margin-bottom: 10px;">进入全屏</div>




      <div style="color: black; text-align: left; margin-bottom: 10px;">50</div>







      <div style="color: black; text-align: left; margin-bottom: 10px;">点击按住可拖动视频</div>



    </div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">3D 编辑在游戏和虚拟现实等<span style="color: black;">行业</span>中发挥着至关重要的<span style="color: black;">功效</span>，然而之前的 3D 编辑苦于耗时间长以及可控性差等问题，很难应用到<span style="color: black;">实质</span>场景。<span style="color: black;">近期</span>，南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor，首次实现了在 2-7 分钟完成对 3D 场景可控的多样化的编辑，全面超越了之前的 3D 编辑工作。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">近三年来，3D 编辑<span style="color: black;">行业</span>的工作<span style="color: black;">广泛</span>聚焦于 NeRF（神经辐射场），这是<span style="color: black;">由于</span> NeRF 不仅能高保真地完成 3D 场景建模，<span style="color: black;">况且</span>其隐式特性<span style="color: black;">极重</span>地<span style="color: black;">加强</span>了可扩展性，相较点云、网格等传统<span style="color: black;">办法</span>有着<span style="color: black;">明显</span>的<span style="color: black;">优良</span>。然而 NeRF 依赖高维多层感知网络（MLP）对场景数据进行编码，这<span style="color: black;">亦</span>带来了<span style="color: black;">必定</span>限制。它难以直接修改场景的特定部分，<span style="color: black;">同期</span>在图像修复和场景组合等任务上<span style="color: black;">增多</span>了<span style="color: black;">繁杂</span>性。这种<span style="color: black;">繁杂</span>性不仅影响了训练过程，<span style="color: black;">亦</span>制约了其在<span style="color: black;">实质</span>应用中的应用。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">GaussianEditor 为<span style="color: black;">认识</span>决<span style="color: black;">以上</span>问题，另辟蹊径，<span style="color: black;">选取</span>了高斯溅射（Gaussian Splatting）<span style="color: black;">做为</span>其 3D <span style="color: black;">暗示</span>。Gaussian Splatting 是半年前提出的一种新型 3D <span style="color: black;">暗示</span>，该<span style="color: black;">暗示</span><span style="color: black;">已然</span>在 3D，4D 重建等多项 3D 任务上超越了 NeRF，刚面世就<span style="color: black;">诱发</span>了 3D <span style="color: black;">行业</span>广泛的关注，是今年 3D <span style="color: black;">行业</span>最大的突破之一。Gaussian Splatting <span style="color: black;">暗示</span><span style="color: black;">拥有</span>极好的前景和<span style="color: black;">潜能</span>， GaussianEditor <span style="color: black;">更加是</span>首个实现了对这种 3D <span style="color: black;">暗示</span>完成编辑的工作。该项目已开源，并<span style="color: black;">供给</span>了 WebUI 界面，便于学习和<span style="color: black;">运用</span>。</span></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-axegupay5k/4e515e11bc5a4cc6a170d13cdfa9156b~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=OChvXGwutk9kelajHtLjNk4a250%3D" style="width: 50%; margin-bottom: 20px;"></div><span style="color: black;"><span style="color: black;">论文<span style="color: black;">位置</span>：https://arxiv.org/abs/2311.14521</span></span><span style="color: black;"><span style="color: black;">主页<span style="color: black;">位置</span>：https://buaacyw.github.io/gaussian-editor/</span></span>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">Gaussian Splatting 虽然有着<span style="color: black;">有效</span>的渲染算法，但其<span style="color: black;">做为</span><span style="color: black;">表示</span><span style="color: black;">暗示</span>，对其的编辑存在着不小的挑战。一个<span style="color: black;">重点</span>问题是缺乏有效的<span style="color: black;">办法</span>准确识别编辑<span style="color: black;">目的</span>，这<span style="color: black;">针对</span>精确可控的编辑至关重要。<span style="color: black;">另外</span>，已有<span style="color: black;">科研</span><span style="color: black;">显示</span>，<span style="color: black;">运用</span>高度随机的生成<span style="color: black;">指点</span>（如 Stable Diffusion 等生成扩散模型）优化 Gaussian Splatting（GS）会遇到重大挑战。这可能是<span style="color: black;">由于</span> GS 直接受到损失中随机性的影响，与神经网络缓冲的隐式<span style="color: black;">暗示</span><span style="color: black;">区别</span>。这种直接暴露<span style="color: black;">引起</span>更新不稳定，训练过程中高斯点的属性直接改变。<span style="color: black;">另外</span>，GS 的<span style="color: black;">每一个</span>训练<span style="color: black;">过程</span>可能<span style="color: black;">触及</span><span style="color: black;">海量</span>高斯点的更新，而这一过程<span style="color: black;">无</span>神经网络风格的缓冲机制。这些问题会<span style="color: black;">引起</span> GS 的过度流动性阻碍了其在训练中向隐式<span style="color: black;">暗示</span>那样的精细结果收敛。</span></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/c646f562b93b44a98b40bed65541262c~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=WvJiBRQDHvFyvf%2FAAqVkIBr7SB4%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">为<span style="color: black;">认识</span>决<span style="color: black;">以上</span>问题，团队<span style="color: black;">首要</span>引入了高斯语义<span style="color: black;">跟踪</span>来完成对 Gaussian Splatting（GS）的精确<span style="color: black;">掌控</span>。高斯语义<span style="color: black;">跟踪</span>在训练过程中始终能够识别出<span style="color: black;">必须</span>编辑的高斯点。这与传统的 3D 编辑<span style="color: black;">办法</span><span style="color: black;">区别</span>，后者<span style="color: black;">一般</span>依赖于静态的 2D 或 3D 掩码。随着 3D 模型的几何形状和外观在训练中的变化，这些掩码的会<span style="color: black;">逐步</span>失效。高斯语义<span style="color: black;">跟踪</span>则是<span style="color: black;">经过</span>将 2D 分割掩码投影到 3D 高斯点上并为<span style="color: black;">每一个</span>高斯点分配语义标签来实现训练全程的<span style="color: black;">跟踪</span>。随着训练过程中高斯点的变化，这些语义标签使得能够<span style="color: black;">跟踪</span>到特定的<span style="color: black;">目的</span>高斯点。高斯语义<span style="color: black;">跟踪</span>算法能<span style="color: black;">保证</span><span style="color: black;">仅有</span><span style="color: black;">目的</span>区域被修改，从而实现精确和可控的编辑。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">下图中红色区域为被<span style="color: black;">跟踪</span>的<span style="color: black;">目的</span>区域，语义<span style="color: black;">跟踪</span>的区域会随着训练过程动态更新来<span style="color: black;">保证</span>其有效性。</span></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/e8e31185e5494ff8b496e7fb36bb84ee~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=NjfK%2BgIHSa2E907VK2XpX1B%2BD1Q%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">另外</span>，为了应对 Gaussian Splatting（GS）在高度随机的生成<span style="color: black;">指点</span>下难以实现精细结果的重大挑战，GaussinEditor 采用一种新的 GS <span style="color: black;">暗示</span>方式：层次化高斯溅射（Hierarchical Gaussian Splatting，HGS）。在 HGS 中，高斯点<span style="color: black;">按照</span>它们在训练过程中的稠密化的<span style="color: black;">次序</span>被组织成<span style="color: black;">区别</span>的世代。在较早的稠密化过程中形成的高斯点被视为较老的世代，它们受到更严格的约束，目的是保持它们的原始状态，从而减少它们的流动性。相反，后期<span style="color: black;">周期</span>形成的高斯点被视为较<span style="color: black;">青年</span>的世代，受到较少或<span style="color: black;">无</span>约束，以<span style="color: black;">加强</span>其适应性。HGS 的设计有效地调节了 GS 的流动性，<span style="color: black;">经过</span>对较老的世代施加限制的<span style="color: black;">同期</span>保持了较新世代的灵活性。这种<span style="color: black;">办法</span>使得<span style="color: black;">连续</span>优化朝向更好的结果<span style="color: black;">作为</span>可能，从而模拟了隐式<span style="color: black;">暗示</span>中<span style="color: black;">经过</span>神经网络实现的缓冲功能。</span></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/8dc9756b04bf4bcab4648e11e8b0cbed~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=IIAPcaaKzn0z7dN%2FVBgX%2B28XeJo%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/aa24cf6d7f134d39bba6222328542443~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=YGsLQTdEFL4%2FJm%2FjBsZbFaE2yMg%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/e09b79be775348ed8b00e10ba0177927~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=r%2Bbegq00B70iNSHGgOFkyokCCgM%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">GaussianEditor <span style="color: black;">这里</span><span style="color: black;">基本</span>上提出了高斯溅射<span style="color: black;">暗示</span>的增、删算法。在删除<span style="color: black;">目的</span>方面，该团队<span style="color: black;">研发</span>了一种专门的局部修复算法，能有效地消除了对象与场景交界处的伪影。在添加<span style="color: black;">目的</span>方面，GaussianEditor 能<span style="color: black;">按照</span>用户<span style="color: black;">供给</span>一个的文本提示和 2D 掩码来为指定区域添加指定<span style="color: black;">目的</span>。GaussianEditor 先借助 2D 图像 Inpainting 算法生成要添加的对象的单视图图像。<span style="color: black;">而后</span>，<span style="color: black;">经过</span> Image to 3D 的算法将该图像转换成一个 3D GS。最后将该<span style="color: black;">目的</span>并入到高斯场景中。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">在对比实验上，GaussianEditor 在视觉质量，量化指标，可控性，生成速度上都大幅度超过了之前的工作。</span></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/bb6088c683e245ca8a64a7b7a0e7c893~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=6Mbzg%2BA8sx5TlVQVzTWHPXv137I%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/cb14af7a33c340f28951d0c64fa146c1~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=L05tlHnFw0kVXm7%2BQcEhhhGbfqQ%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">该团队还<span style="color: black;">经过</span>消融实验验证了其提出的高斯语义<span style="color: black;">跟踪</span>和层次化高斯<span style="color: black;">暗示</span>的有效性。</span></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/b49662f9768e4ae19c908737f6805d4f~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=4Boo38okJ5tOew8pk0wqyb7Xghs%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-6w9my0ksvp/1c91158c07474718a89f039c53080687~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1724090014&amp;x-signature=byax4ee9JzXA7JIRPzXX%2Fq8o27c%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">GaussianEditor <span style="color: black;">做为</span>一种先进的 3D 编辑算法，重点在于灵活和快速地编辑 3D 场景，并首次实现了对高斯溅射的编辑。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">该算法的关键特点<span style="color: black;">包含</span>：</span></span></p><span style="color: black;"><strong style="color: blue;"><span style="color: black;">Gaussian 语义<span style="color: black;">跟踪</span></span></strong>：它能在训练过程中<span style="color: black;">连续</span>识别<span style="color: black;">必须</span>编辑的高斯点，<span style="color: black;">保证</span><span style="color: black;">仅有</span><span style="color: black;">目的</span>区域被编辑。</span><span style="color: black;"><strong style="color: blue;"><span style="color: black;">层次化 Gaussian Splatting（HGS）</span></strong>：这是一种新的 GS <span style="color: black;">暗示</span>方式，<span style="color: black;">经过</span>在<span style="color: black;">区别</span>训练<span style="color: black;">周期</span>形成的高斯点之间<span style="color: black;">创立</span>层次结构，以有效管理 GS 场景的流动性，并模拟隐式<span style="color: black;">暗示</span>中神经网络的缓冲功能。</span><span style="color: black;"><strong style="color: blue;"><span style="color: black;">3D 场景的<span style="color: black;">增多</span>和删除算法</span></strong>：GaussianEditor 专为 GS <span style="color: black;">研发</span>设计了 3D 场景的增删算法，能够<span style="color: black;">有效</span>地从场景中移除或添加特定对象。</span>




5ep9lzv 发表于 2024-8-29 06:48:16

期待楼主的下一次分享！”

4zhvml8 发表于 2024-10-3 16:22:08

论坛是一个舞台，让我们在这里尽情的释放自己。

7wu1wm0 发表于 2024-10-7 09:03:36

哈哈、笑死我了、太搞笑了吧等。

nqkk58 发表于 2024-11-11 05:57:35

外链发布社区 http://www.fok120.com/
页: [1]
查看完整版本: 让3D编辑像PS同样简单，GaussianEditor几分钟内完成3D场景增删改