3D Gaussian Splatting为什么牛啵？原理、应用场景及最新进展

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

什么是3D Gaussian Splatting？

3D Gaussian Splatting是最近几个月热度极高的突破性工作，对应论文“3D Gaussian Splatting for Real-Time Radiance Field Rendering”是2023年SIGGRAPH最佳论文，在短短的几个月内席卷三维视觉和SLAM领域。

2020年提出的NeRF等辐射场方法彻底改变了多张照片或视频主导的场景新视角合成的算法生态，但训练、渲染的速度与质量仍存在瓶颈。Gaussian Splatting引入了三个关键元素，在保持有竞争力的训练时间的同时实现最先进的视觉质量，重要的是允许在1080p分辨率下实现高质量的实时（≥30 fps）的新视图合成。

基于3D Gaussian Splatting的SLAM不仅全面继承了NeRF-based SLAM方法的优点，而且全面补足了其短板（渲染速度慢、图像质量不高、定位精度欠佳等），实现了更好的实时性、更好的渲染质量、更精确的定位精度。

3D Gaussian Splatting对比之前的NeRF算法

3D Gaussian Splatting为什么这么牛啵？

主要有三个点

3D高斯场景表示：这些3D高斯从最初产生的稀疏点开始初始化，并且能够有效地保留连续体积辐射场的优良属性，同时避免在空白空间中进行不必要的计算。
交错优化和密度控制：主要是对3D高斯的各种属性（如位置、不透明度、各向异性协方差和球面谐波系数）进行优化。这种优化与自适应密度控制步骤交错进行，其中包括在优化过程中添加或偶尔移除3D高斯，以此来精确地表示场景。
快速可见性感知渲染算法：这种渲染算法贼快，支持各向异性抛雪球（anisotropic splatting），不仅加速了训练过程，还能保持高质量进行实时渲染。

3D Gaussian Splatting的应用

3D Gaussian Splatting的跨领域交叉成果

1、将文本转化为3D 模型

2、让3D编辑像PS一样简单！Gaussian Editor：在几分钟内完成3D场景增删改

3、分割一切「3D高斯」版来了：几毫秒完成3D分割、千倍加速

《基于3D Gaussian Splatting SLAM：理论与源码解析》

4、基于3D Gaussian Spaltting的SLAM

最近2个月3D Gaussian Spaltting在SLAM领域出现了大量开创性的新工作，列举几个

一个月前，上海AI实验室、复旦大学、西北工业大学、香港科技大学等发布了GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting。说是第一个在SLAM系统中使用3D Gaussian Splatting表达的工作。在效率和精度做到了很好的平衡。利用实时可微分splatting渲染极大加速了地图优化和RGB-D重渲染。比SOTA算法渲染快100倍！

几周前，CMU和MIT的大佬们开源了SplaTAM:Splat,Track & Map 3D Gaussians for Dense RGB-D SLAM，首次实现单目RGB-D相机使用3D Gaussian Splatting实现稠密重建，就是打通了3D GS和SLAM的pipeline，从前端到建图一气呵成，并且精度和效果直接秒杀之前的SOTA。效果在这里

一周前，伦敦帝国理工学院戴森机器人实验室的大佬们又发布了Gaussian Splatting SLAM。把RGB-D的D也去掉了，不需要深度相机，使用3DGaussianSplatting，仅使用单目相机（SLAM中最难的传感器配置），不需要SFM，不需要学习先验，直接在线生成稠密建图，帧率3fps。生成的重建结果精确且渲染效果极好。而且还可以重建微小甚至透明的物体。

3D Gaussian Splatting教程

3D Gaussian Splatting最为学术和工程前景兼具的技术，发展非常快，即将迎来大爆发！在新技术领域，先来的吃肉，后来的喝汤，因此我们开启了“先锋计划”，爆肝备课，针对3D Gaussian Splatting SLAM 目前大佬发表的论文，以及目前唯一开源的代码SplaTAM，全网首发，全网独家最早最新的《基于3D Gaussian Splatting SLAM：理论与源码解析》课程来啦，帮助各位研究者第一时间抢占学术制高点，第一时间抓住落地机会。

目前有30个立减60元早鸟优惠名额，名额有限，扫描抢购！

《基于3D Gaussian Splatting SLAM：理论与源码解析》

对以上如有疑问，可咨询下面客服：