关注风云之声
提升思维层次
导读
什么是非视域成像，远距离又带来了哪些挑战，科学家们最终是如何克服困难的？
我们之所以能看到日月星辰、山川树木，是因为他们发出或反射的光进入我们的眼睛。正是眼睛接收到的光线的性质告诉了我们物体的位置、颜色等信息。我们还很早就知道了，光是沿直线传播的。光不会拐弯，这限定了我们视力所及的范围——从被称作“视域”的区域中发出的光能勇往“直”前，进入我们的眼睛，而“非视域”内发出的光则因障碍物而中道崩殂。
生活经验告诉我们，我们所处的世界充满了各种“障碍物”，有太多我们无法企及的视觉信息。纵横交错的公路上，司机无法看到前方转弯后道路的情况；争锋相对的巷战中，警察无法得知房屋中歹徒的布局；中学自习课，后门上的一扇小窗显然不足以让班主任总揽班级全局……
交叉路口 
（图片来自网络）
而一项被称作“非视域成像”（Non-line-of-sight imaging）的技术，最近几年受到人们日益增长的关注，有望给成像领域带来革命性改变。顾名思义，非视域成像技术旨在完成对“非视域”内物体的拍照成像。最近，中国科学技术大学的潘建伟、窦贤康、徐飞虎研究团队取得了一项重要突破，他们实现了远距离的非视域成像，将之前的米量级距离提高了3个数量级，达到1.43公里。这将极大促进非视域成像技术的发展，以及在现实世界中的相关应用。研究论文“Non–line-of-sight imaging over 1.43 km”已于2021年3月4日在线发表在《美国科学院院刊》（PNAS）上。
那么什么是非视域成像，远距离又带来了哪些挑战，科学家们最终是如何克服困难的？下面将为大家慢慢讲解。
视频1：1.43公里非视域成像展示
从激光成像雷达到非视域成像
让我们先从“激光成像雷达”讲起，正是在这一理念的基础之上，超远距离成像、非视域成像才逐渐发展起来。
激光成像雷达原理示意图 
（“墨子沙龙”绘制）
不同于人眼和普通相机被动接收光线来成像，激光成像雷达主动出击。激光雷达瞄准目标物体上的一点发出一束脉冲激光，激光打到物体上被反射回来。我们知道，对于光滑的镜面来说，反射是定向的，入射方向和反射方向有确定的关系，而对于一般的“粗糙”表面来说则是“漫反射”——激光脉冲被反射到各个方向。一个脉冲里包含大量的光子，而光子是光的基本组成单元，经过物体的漫反射，总会有一部分光子被反射回来，被我们的探测器接收到。通过脉冲发射时间和接收时间之差，我们就知道了光的“飞行时间”，乘以光速，就知道了光的飞行距离。就这样，我们获得了目标的位置信息。通过对物体进行逐点扫描，我们就“看见”了物体的位置、形状等特征，完成了测距和成像。这里我们看到，光的“飞行时间”是激光成像雷达的关键，在“飞行时间”中蕴含着我们想要获得的成像信息。
如今开展的各种非视域成像技术，绝大部分也正是基于“飞行时间”。其基本原理也很简洁，即我们以墙为镜，来“映照”出隐蔽在遮挡物背后的物体。具体思路大致是（见下图）：
非视域成像原理示意图 
（translating from D. Lindell）
● 脉冲激光器向着墙上的一点（处于其视域中）发射脉冲光，光打到墙上，被墙壁散射后，以不断扩展的球面向各个方向发射。其中沿入射相反方向返回的光（上图的光学布置中，发射激光和探测器接收光路重合，即激光照射点和探测器接收点一致）被探测器接收到，另有一些反射光照向隐藏物体；
●被墙壁漫反射后的一束光打到隐藏物体上某点之后，又一次被物体散射（第二次散射）；
●被二度散射的光照射到墙上，在接收点（即照射点）被墙壁再次散射（第三次散射）后，被探测器捕获。
通过精确测量经1次散射回来的脉冲延迟时间和经3次散射回来的脉冲延迟时间，我们可以获得物体的位置信息。例如，在上图的示例中，收到经1次散射回来的脉冲的时间是2.7纳秒（发射时间取为0），所以激光器发射点到墙上这点的距离就是：2.5纳秒乘以光速再除以2，大约是40厘米；收到经3次散射回来的脉冲的时间是4.3纳秒，和前者返回脉冲的时间之差是（4.3—2.7）纳秒，从而我们知道了隐藏物体上散射点和照射点之间的距离，大约是24厘米。
从下方的小视频，我们可以直观看清非视域成像的基本原理。
视频2：非视域成像原理
（ from D. Lindell）
非视域成像的难点
非视域成像的原理以及所涉及的数学知识是不是很简单，那么它的难度究竟在哪里？伟大数学家冯·诺依曼说过：“如果人们不相信数学简单，那是因为他们不知道真实世界有多复杂。”正是真实世界的复杂性给非视域成像提出了各种严苛的要求，为了从收集到的脉冲信号中复现出隐藏物体的位置、形状信息，我们需要集结物理学、光学、电子学、数学、计算机算法等众多领域的前沿手段！
其难点可以归结成两方面：硬件方面，如何实现高效、高精度的测量；软件方面，如何从测量数据中最优地提取到有效信息，完成隐藏物体的“复现”。
测量难点  每次漫反射后，光以散射点为球心被扩散到各个方向，强度（光子数）随距离的平方而衰减。而为了实现非视域成像，我们需要探测经过3次漫反射后的光子（更多次漫反射后的光子由于数量少得多，可以忽略），光子数更是随距离的更高次幂而衰减。例如，在研究团队的这一突破性进展中，经过各种技术的改进，脉冲激光每发射亿亿量级个光子，才有一个经过3次漫反射的光子被探测器探测到。
我们日常生活中所使用的普通光电探测器，例如手机中的探测器，由于灵敏度的限制，无法有效探测到如此微弱的信息。借助量子物理的知识，科学家们开发了单光子探测器，用于超远距离测距、非视域成像等任务。
另外，从非视域成像的原理中，我们不难察觉到，“飞行时间”的精确测量对成像质量至关重要。因此，我们不仅要高效率地收集到光子，而且在对光子到达时间的界定上也要有极高的分辨率。要知道光速极快，100皮秒（1皮秒 = 10-12秒）就能行走3厘米。时间的分辨率直接影响成像的空间分辨率，要从3次漫反射后的光子“飞行时间”中精确地反推出隐藏物体的位置、形状，精度还要达到厘米级，对探测器时间分辨率的要求可想而知！
复现难点  非视域成像和视域成像的不同，也决定了其从原始数据重构出图像结果的算法有更大的复杂性。视域成像是对物体进行逐点扫描，原则上每个点是相互“独立”的。激光瞄准物体上一个点，基于探测到的返回光子的飞行时间，在理想情况下我们就可以得到照射点的位置信息了。对物体进行逐点扫描，就能获得物体的位置和形状。而成像算法所做的事情，主要是通过测量信号间的相互比对和印证，来对噪声信息进行剔除和修正。这就好比把玩脏了的“积木”擦拭干净，去除污点。
而非视域成像则有本质的不同。回想上文视频中的例子，我们选择墙上的一个照射点，向其瞄准发射激光脉冲，被墙壁散射开的光子们奔向隐藏物体的每一处，而从物体任一处被二次漫反射的光子，也都可能回到照射点（这里也即探测器的接收点）。不难想见，探测器探测到的光子们的“飞行时间”信息糅合了物体上众多点的位置信息，另一方面，对墙上仅一个点的照射，即便在原理上我们也无法得到物体上任意一点的具体位置。我们能得到的只是物体上点到墙面上照射点的距离r，而不知道其方位，即我们知道的是：在以照射点为球心、r为半径的球面上，有东西存在。我们知道，三维空间中要确定一个点的位置需要3个参量。如果我们在墙上选取3个照射点，从飞行时间中获得物体上点到3个照射点的距离，我们不就能确定物体上这一点的位置了吗？——三个球面的交点可以确定一个点！
而对于激光照射点和探测器接收点不在同一处的情况，我们能知道的是：物体上点到墙面上激光照射点和探测器接收点的距离之和是r，即：在以照射点、接收点为两焦点、长轴为r的椭球面上，有东西存在。下面的故事就和球面的情况类似了。
但问题还没有这么简单！比如，在墙上我们选择了3个不同位置格点（下图：左），分别获得了如下光子数在时间上的分布，其中1、2、3、4对应于每个时间统计单位内获得的光子计数（下图：中）。相对于墙上不同格点（①，②，③），物体上的4个点（1，2，3，4）（下图：右）到格点的距离的大小排序是不同的，也就是从其上散射回探测器的光子的到达时间次序不同。
光子计数在时间上的分布
（“墨子沙龙”绘制）
我们必须从获得的一个个脉冲分布中，求解出同一序号的对应，即：对于墙上不同接收点获得的光子计数时间分布，需要找到从隐藏物体上同一点散射回探测器的光子分别在它们的什么时间位置。不然，三个球面无法交于一点，就没有办法找到物体的准确位置。
但这一逆向求解问题并不容易，甚至理论上也不能得到完美的求解，更何况实验获得的数据中还不可避免地有环境、光学系统本身等等因素带来的“噪声”。我们的重构算法结合相应的探测方案设计，很大程度上就是为了解决这个逆向求解问题。
在这一研究工作中，研究人员对墙面上64×64（85cm × 85cm）的网格进行逐个格点的扫描。扫描得到的原始“图像”并非隐藏物体的图像，而可以看作是物体在墙上的“影子”。但和一般“影子”不同的是，它并非是物体的“直接”投影，而是物体各点上信息经过重新杂糅捏合而出的“变身怪”。重构算法就是要通过对原始数据的一系列分析、操作，让变身怪现出原形。就像被孩子玩乱了的魔方，我们不仅要把它擦拭干净，还要把它“扭”回原形。
(取自研究论文 PNAS, 2021, 118, e2024468118)
远距离带来的巨大挑战
由于技术上的苛刻要求，之前的非视域成像实验，距离都局限在米量级。如何实现远距离的非视域成像，是这一技术走向更广范应用所急需解决的制约瓶颈。光子的远距离飞行给我们带来了巨大挑战。
信号强度  经过3次漫反射，光信号本就大大衰减了，竟还要再跨越千米之遥的室外环境，可谓“漂洋过海来看你”，这对探测技术、光学系统设计提出的要求何其严峻！
信噪比  太阳光等环境“噪声”、光学系统自身元件（比如分束器）的背向反射“噪声”等因素带来了低信噪比。而非视域成像中，物体各点的信息是混杂、相互关联的，为了重构出物体图像，低信噪比更难以容忍。
时间分辨率  光子长途跋涉中的光学发散会导致探测器接收到的脉冲在时间上发生展宽，这一展宽所带来的时间不确定度可以高达纳秒量级。而为了达到厘米级分辨率的非视域成像，实验中探测器的时间分辨率通常需要精准到皮秒量级。另外，为了实现重构算法，远距离非视域成像还需要对墙上的网格有更高的扫描精度。
突破源于技术创新：实验探测和算法重构
兵来将挡，水来土掩。针对提出的各种难题，研究人员发展出相应的解决方案，通过光学系统的设计、优化，以及研发的图像重构算法，最终在上海的室外环境中实现了1.43公里的非视域成像。
研究团队使用了1550纳米波长的近红外激光。一则因为红外光比可见光有更长的波长，具有更好的穿透性，受空气环境的影响更小，这既缓解了光衰减问题，也提高了信噪比；另外，太阳光的光强关于频率有一个分布，在太阳光谱中，红外光相较于可见光要弱很多，近红外激光的使用减少了来自太阳光的噪声。
但普通的单光子探测器对近红外光不适用，为此，研究团队专门研制出适用于1550纳米波长近红外光的单光子探测器。
不同于以往的光学线路（见前文视频 2），研究团队使用了双望远镜共聚焦光学系统（见前文视频 1）。这有以下几点好处：望远镜的使用增加了接收光子的区域——在实验中，探测器的视场角（FOV）比扫描格点还要大一些；高速扫描振镜（Galvo system）实现了同步，使得探测器的视场角和激光脉冲的照射点能同步瞄准墙上的格点进行扫描，但两者的中心又特意稍有偏离，这样入射线路和返回线路有所分离，避免了线路的相互干扰，同时，由于偏离不大，我们仍然可以合理假设接收视场和激光照射点重合，方便重构算法的执行；往返线路的分离允许我们使用更大功率的激光，不用担心其对返回光的影响。
这一设计也避免了分束器的使用，减少了噪声。另外，望远镜进行了镀膜，具有了更高的反射率。
综合采集效率和时间分辨率来考量，研究团队采用了最优化的扫描精度（扫描步长为0.0005°），对墙上64×64（85cm × 85cm）的网格进行扫描。
算法方面，现实总是充满了不完美，由于数据的不完备和噪声影响，现实中难以实现“从测量数据到物体空间分布”这一逆向问题的完美求解。因此，我们需要找寻各种算法来最大程度的“逼近”这个目标。针对不同的测量方式、实验数据类型和要达到的目的，各种算法被陆续提出，并在各种场景下取得了不错的效果。本研究工作则主要采取了“凸优化”的方式，与测量结合，取得了不错的图像重构效果。
研究团队对室外1.43公里之外的居民楼房间中的物体进行了非视域成像，透过窗户我们看到的只有一块墙面，而物体处在我们的视野之外。见前文视频 1。
要成像的目标物体长这个样子：
测量得到的原始数据（时间扫描数据）是这样的：
通过滤波去除噪声后是这样的：
最终，经过“重构算法”，我们得到了下面的成像，能明显看出一个人举起来的双手。
另外，利用3个探测器同时对墙上3个格点进行扫描，研究团队还实现了对运动的简单物体（可以看作一个简单的点，而不管其形状）的实时跟踪。
研究论文：

C. Wu, J. Liu, X. Huang, Z.-P. Li, C. Yu, J.-T. Ye, J. Zhang, Q. Zhang, X. Dou, V. K. Goyal, F. Xu and J.-W. Pan, Non–line-of-sight imaging over 1.43 km[J], Proc. Natl. Acad. Sci. 2021, 118, e2024468118.
（感谢论文作者徐飞虎教授和吴骋、刘健江老师对本文的指导和帮助）

扩展阅读：
单光子相机：怎样进行“隔墙观物” | 徐飞虎
单光子相机：如何实现“雾里看花” | 徐飞虎
漫画 | 非视域成像：让视线“拐弯”，在1.4千米之外 | 墨子沙龙
【圆桌对话】量子技术能促进人工智能吗；单光子器件有何优势；…… | 墨子沙龙
“墨子号”——漫漫追星路 | 墨子沙龙
背景简介：本文2021年3月6日发表于微信公众号 墨子沙龙（科普解读| 千米之外，如何实现隔墙观物），风云之声获授权转载。
责任编辑：祝阳
继续阅读
阅读原文