点击上方“计算机视觉life”，选择“星标”
快速获得最新干货
NeRF这几年太火了！席卷计算机视觉领域，几大顶会顶刊每年有大量的文章发表，不仅在深度学习方面大展身影，在传统几何为主的SLAM（同时定位与建图）和三维重建领域也是横扫四方。
就连SLAM学术界的泰斗，Frank Dallaert（https://dellaert.github.io/），gtsam的作者，也开始研究NeRF，可见NeRF的价值和对SLAM的意义。

1什么是NeRF-based SLAM？

2020年NeRF横空出世，获得ECCV2020最佳论文荣誉提名，随后神经辐射场方法的文章如雨后春笋般出现。NeRF最初用来在给定相机视角的条件下，渲染出该视角下的图像，即NeRF使用神经辐射场进行新视角合成。
秦通博士整理
NeRF是建立在已有相机位姿的情况下，但在大多数的机器人应用中，相机的位姿是未知的。有一些工作应用NeRF的技术既估计相机位姿又对环境进行重建，即NeRF-based SLAM。

2为什么学习NeRF-based SLAM？

将深度学习与传统几何融合是SLAM发展的趋势。过去我们看到SLAM中一些单点的模块，被神经网络所替代，比如特征提取(SuperPoint), 特征匹配(SuperGlue), 回环(NetVlad)等。
相比较单点的替代，NeRF-based方法是一套全新的框架，可以端到端的替代传统SLAM，无论是在设计方法还是实现架构上。
  • 没有特征提取，直接操作原始像素值。误差回归到了像素本身，信息传递更加直接，优化目标为所见即所得。
  • 无论是隐式还是显式的环境表达都可以进行微分，即可以对map进行full-dense优化（传统SLAM基本无法优化dense map，通常只能优化有限数量的特征点或者对map进行覆盖更新）。
NeRF 不仅在学术界非常火爆，很多知名企业也在积极利用NeRF来开发产品。比如上海人工智能实验室联合香港中文大学和上海市测绘院发布全球首个城市级NeRF实景三维大模型“书生·天际”

3如何学习 NeRF-based SLAM ？

NeRF-based SLAM 发展非常快，初学者入手时经常遇到如下问题：
  • 到底如何开始学？
  • 怎么快速掌握核心点？
  • 如何透彻理解原理？
  • 如何看懂代码？
基于以上问题，我们整理目前比较知名的基于视觉的NeRF SLAM开源框架有：
  • NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis, ECCV, 2020
  • NICE-SLAM: Neural Implicit Scalable Encoding for SLAM, CVPR, 2021.
  • iMap: Implicit Mapping and Positioning in Real-Time, ICCV, 2021.
  • NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM, arXiv, 2023.
  • Co-SLAM: Joint Coordinate and Sparse Parametric Encodings for Neural Real-Time SLAM, CVPR, 2023.
  • ……
计算机视觉life联和哈尔滨工业大学汪寿安博士，经过周密准备，推出了全网首个理论+实践的NeRF SLAM课程《快速上手基于NeRF的SLAM：理论与实践》。
汪博士研究方向为神经隐式SLAM，多传感器融合SLAM。有两年自动驾驶从业经历，对以上提到的开源框架进行了详细的原理讲解和代码解读。下面是他对课程的介绍视频。
早鸟优惠立减 30元，名额有限，先到先得。
《快速上手基于NeRF的SLAM：理论与实践》目前早鸟优惠立减 30元，名额有限，先到先得。如有疑问，可咨询下面客服：
参考： 
https://zhuanlan.zhihu.com/p/555996624
继续阅读
阅读原文