3D Gaussian Splatting的福音！快速提取精确且可编辑的3D网格来啦！

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

本文转载自：3DCV

1、导读

我们介绍了一种从3D Gaussian Splatting表示中快速提取精确且可编辑的网格的方法。该方法利用Gaussian Splatting的渲染速度快、训练速度慢的特点，通过引入正则化项鼓励Gaussian Splatting表示与场景表面对齐，并使用Poisson重建方法从Gaussian Splatting表示中提取网格。此外，该方法还引入了一种优化策略，将Gaussian Splatting表示与网格一起优化，通过Gaussian Splatting渲染实现高效的编辑、雕塑、动画和重新光照。这种方法能够在几分钟内检索到具有更好渲染质量的可编辑网格，相比于从SDF中提取网格的方法需要几个小时。

2、贡献

正则化项，使高斯能准确捕捉场景的几何形状；
一种高效的算法，可在几分钟内从高斯中提取出精确的网格；
一种将高斯绑定到网格的方法，从而获得更精确的网格，与目前使用网格进行新颖视图合成的方法相比，渲染质量更高，并允许以多种不同方式编辑场景。

3、方法

从3D Gaussian Splatting表示中快速提取精确且可编辑的网格的方法。主要包括以下几个步骤：

引入正则化项，鼓励Gaussian Splatting表示与场景表面对齐。
使用Poisson重建方法从Gaussian Splatting表示中提取网格。
引入优化策略，将Gaussian Splatting表示与网格一起优化，实现高效的编辑、雕塑、动画和重新光照。

这个方法的优势在于，能够在短时间内检索到具有更好渲染质量的可编辑网格，相比于从SDF中提取网格的方法，效率大幅提升。

3.1、将高斯与曲面对齐

通过引入正则化项来使Gaussian Splatting表示与场景表面对齐。该方法的目标是鼓励Gaussians具有紧密排列和均匀分布的特性，从而在后续的优化过程中获得更高渲染质量的网格。

3.2、高效的网格提取

高效的网格提取：从Gaussian Splatting表示中快速提取精确且可编辑的网格的方法。该方法采用了一种优化策略，将Gaussian Splatting表示与网格一起优化，以实现高效的编辑、雕塑、动画和重新光照。为了证明该方法在重建高质量网格方面的优势，作者进行了实验，并将实验结果与其他网格提取算法进行了比较。

在实验中，作者优化了不同场景的Gaussian Splatting表示，并采用了以下几种网格提取方法：

使用非常精细的Marching Cubes算法提取网格；
使用Poisson重建方法，以高斯体的中心作为表面点云提取网格；
应用本文提出的网格提取方法提取不同场景的网格。

实验结果表明，与其他方法相比，本文提出的网格提取方法在渲染质量和编辑能力方面具有明显优势。在没有正则化项的情况下，Gaussians在优化后没有特殊的排列，这使得提取网格变得非常困难。而当引入正则化项后，即使使用非常精细的3D网格，Marching Cubes也能恢复出非常嘈杂的网格。相比之下，本文提出的全方法能够成功地重建出精确的网格，且效率较高。

3.3、将新的3D高斯分布绑定到网格上

如何通过将新的3D高斯分布绑定到网格上，来优化和编辑Gaussian Splatting场景。具体来说，主要介绍了以下几个关键点：

在已经提取出的网格的基础上，如何通过绑定新的3D高斯分布来细化和优化网格。
如何在保持高质量渲染的同时，使用高斯分布对网格进行编辑。
如何在几秒钟内从高斯分布中提取出具有更高细节的网格。

4、实验结果

实验对比了几种不同的网格提取方法，如Marching Cubes、Poisson重建等，以及它们在渲染质量和编辑能力方面的表现。为了评估所提出方法在细化和优化网格方面的效果，作者进行了一组对比实验。实验结果表明，所提出的方法在渲染质量和编辑能力方面具有明显优势。作者还对比了在不同场景下，所提出方法与现有方法的性能表现。实验结果显示，所提出的方法在处理3D高斯分布时具有较高的效率和准确性。同时还展示了在不同迭代次数下，所提出方法对3D高斯分布的细化效果。根据迭代次数的不同，细化过程的持续时间从几分钟到几小时不等。

5、总结

所提出的方法在3D Gaussian Splatting表示中快速提取精确且可编辑网格方面的优势。该方法通过引入正则化项鼓励Gaussian Splatting表示与场景表面对齐，并使用Poisson重建方法从Gaussian Splatting表示中提取网格。实验结果表明，所提出的方法在渲染质量和编辑能力方面具有显著提高，能够在短时间内检索到具有更好渲染质量的可编辑网格。与现有方法相比，所提出的方法在处理复杂场景时具有更高的效率和准确性。