|
设备之心专栏
设备之心编辑部
重播
播放
00:00
/
00:00
直播
进入全屏
50
点击按住可拖动视频
3D 编辑在游戏和虚拟现实等行业中发挥着至关重要的功效，然而之前的 3D 编辑苦于耗时间长以及可控性差等问题，很难应用到实质场景。近期，南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor，首次实现了在 2-7 分钟完成对 3D 场景可控的多样化的编辑，全面超越了之前的 3D 编辑工作。
近三年来，3D 编辑行业的工作广泛聚焦于 NeRF（神经辐射场），这是由于 NeRF 不仅能高保真地完成 3D 场景建模，况且其隐式特性极重地加强了可扩展性，相较点云、网格等传统办法有着明显的优良。然而 NeRF 依赖高维多层感知网络（MLP）对场景数据进行编码，这亦带来了必定限制。它难以直接修改场景的特定部分，同期在图像修复和场景组合等任务上增多了繁杂性。这种繁杂性不仅影响了训练过程，亦制约了其在实质应用中的应用。
GaussianEditor 为认识决以上问题，另辟蹊径，选取了高斯溅射（Gaussian Splatting）做为其 3D 暗示。Gaussian Splatting 是半年前提出的一种新型 3D 暗示，该暗示已然在 3D，4D 重建等多项 3D 任务上超越了 NeRF，刚面世就诱发了 3D 行业广泛的关注，是今年 3D 行业最大的突破之一。Gaussian Splatting 暗示拥有极好的前景和潜能， GaussianEditor 更加是首个实现了对这种 3D 暗示完成编辑的工作。该项目已开源，并供给了 WebUI 界面，便于学习和运用。
论文位置：https://arxiv.org/abs/2311.14521主页位置：https://buaacyw.github.io/gaussian-editor/
Gaussian Splatting 虽然有着有效的渲染算法，但其做为表示暗示，对其的编辑存在着不小的挑战。一个重点问题是缺乏有效的办法准确识别编辑目的，这针对精确可控的编辑至关重要。另外，已有科研显示，运用高度随机的生成指点（如 Stable Diffusion 等生成扩散模型）优化 Gaussian Splatting（GS）会遇到重大挑战。这可能是由于 GS 直接受到损失中随机性的影响，与神经网络缓冲的隐式暗示区别。这种直接暴露引起更新不稳定，训练过程中高斯点的属性直接改变。另外，GS 的每一个训练过程可能触及海量高斯点的更新，而这一过程无神经网络风格的缓冲机制。这些问题会引起 GS 的过度流动性阻碍了其在训练中向隐式暗示那样的精细结果收敛。
为认识决以上问题，团队首要引入了高斯语义跟踪来完成对 Gaussian Splatting（GS）的精确掌控。高斯语义跟踪在训练过程中始终能够识别出必须编辑的高斯点。这与传统的 3D 编辑办法区别，后者一般依赖于静态的 2D 或 3D 掩码。随着 3D 模型的几何形状和外观在训练中的变化，这些掩码的会逐步失效。高斯语义跟踪则是经过将 2D 分割掩码投影到 3D 高斯点上并为每一个高斯点分配语义标签来实现训练全程的跟踪。随着训练过程中高斯点的变化，这些语义标签使得能够跟踪到特定的目的高斯点。高斯语义跟踪算法能保证仅有目的区域被修改，从而实现精确和可控的编辑。
下图中红色区域为被跟踪的目的区域，语义跟踪的区域会随着训练过程动态更新来保证其有效性。
另外，为了应对 Gaussian Splatting（GS）在高度随机的生成指点下难以实现精细结果的重大挑战，GaussinEditor 采用一种新的 GS 暗示方式：层次化高斯溅射（Hierarchical Gaussian Splatting，HGS）。在 HGS 中，高斯点按照它们在训练过程中的稠密化的次序被组织成区别的世代。在较早的稠密化过程中形成的高斯点被视为较老的世代，它们受到更严格的约束，目的是保持它们的原始状态，从而减少它们的流动性。相反，后期周期形成的高斯点被视为较青年的世代，受到较少或无约束，以加强其适应性。HGS 的设计有效地调节了 GS 的流动性，经过对较老的世代施加限制的同期保持了较新世代的灵活性。这种办法使得连续优化朝向更好的结果作为可能，从而模拟了隐式暗示中经过神经网络实现的缓冲功能。
GaussianEditor 这里基本上提出了高斯溅射暗示的增、删算法。在删除目的方面，该团队研发了一种专门的局部修复算法，能有效地消除了对象与场景交界处的伪影。在添加目的方面，GaussianEditor 能按照用户供给一个的文本提示和 2D 掩码来为指定区域添加指定目的。GaussianEditor 先借助 2D 图像 Inpainting 算法生成要添加的对象的单视图图像。而后，经过 Image to 3D 的算法将该图像转换成一个 3D GS。最后将该目的并入到高斯场景中。
在对比实验上，GaussianEditor 在视觉质量，量化指标，可控性，生成速度上都大幅度超过了之前的工作。
该团队还经过消融实验验证了其提出的高斯语义跟踪和层次化高斯暗示的有效性。
GaussianEditor 做为一种先进的 3D 编辑算法，重点在于灵活和快速地编辑 3D 场景，并首次实现了对高斯溅射的编辑。
该算法的关键特点包含： Gaussian 语义跟踪：它能在训练过程中连续识别必须编辑的高斯点，保证仅有目的区域被编辑。层次化 Gaussian Splatting（HGS）：这是一种新的 GS 暗示方式，经过在区别训练周期形成的高斯点之间创立层次结构，以有效管理 GS 场景的流动性，并模拟隐式暗示中神经网络的缓冲功能。3D 场景的增多和删除算法：GaussianEditor 专为 GS 研发设计了 3D 场景的增删算法，能够有效地从场景中移除或添加特定对象。
| 
发表于 2024-8-20 10:47:03