Meta Reality Labs：理想的VR头显还需克服这10项技术挑战

Esther | 编辑

近期，在SIGGRAPH 2022期间，Reality Labs显示系统研发（DSR）团队负责人Douglas Lanman分享了为Meta开发VR显示系统的心得，并提出理想的VR还需要克服的10项技术挑战，比如分辨率、视场角、人体工学等等。

Lanman表示：为什么人们追求在数字世界中重建“现实”？背后的驱动力不只是为了提升成像质量，更多的是为了捕捉真实场景的完整动态范围（亮度变化）、高分辨率、动态焦点变化，并以数字形式来表示和储存，重建光子和像素。尤其是在VR中重建现实，便可以带来更好的远程线上体验，允许人们在虚拟世界中体验高保真的面对面活动。

尽管电视等2D屏幕的分辨率、亮度已经做到足够优秀，但还不足以重建现实，理想的屏幕应该给人带来自然的3D观感，就像是人眼看现实世界那样。这种屏幕可能是像CAVA那样的沉浸式显示方案，也可能是3D显示屏、AR/VR等等。

当然，这里指的重建现实并不是将现实场景中的像素一比一还原，而是打造一种让人眼难以分清现实和虚拟的显示技术。当然，距离这个目标我们还有很长一段距离。

Lanman指出，从早期的电影到电视、显示器、笔记本、平板电脑、智能手机、智能手表这一进化过程，可以发现显示技术变得越来越贴身、越来越便携，但同时视觉沉浸感越来越少。因此，更理想的情况是兼具沉浸感和便携性，很可能是一种介于VR头显和AR眼镜之间的穿戴设备。也就是说，体验感最好的设备不一定是最轻便的，也不一定是最沉浸、逼真的，而是介于二者之间。

AR/VR显示技术开发在光学和显示、图形渲染/计算、眼球追踪、音频、交互、人体工学、计算机视觉等方面都需要优化。Lanman认为，尤其是打造理想的VR将至少将需要克服10项关键挑战，其中包括：1）分辨率；2）视场角；3）人体工学；4）视力矫正；5）动态变焦；6）眼球追踪；7）畸变校正；8）HDR；9）透视；10）面部识别。而这些挑战的解决方案，将预示着未来AR/VR的发展方向。

1，分辨率

理想的VR分辨率应该达到与人眼接近的60PPD，目前Quest 2只有20PPD，单目分辨率近2K。为了探索更高的分辨率，Meta Reality Labs开发了一款实验性VR头显：Butterscotch，以模拟视网膜级别的分辨率，号称可清晰显示完整的视力表。

不过，限制VR分辨率、清晰度的因素有很多，屏幕并不是最大的问题，更大的问题在于算力、功耗、硬件体积的限制。未来，也许可以通过注视点渲染、云端串流等方式来优化，但这两种方案也分别有各自的问题需要解决，如眼球追踪延迟和准确性、云端数据传输延迟和稳定性等。

2，视场角

VR视场角有限的原因不只是因为受到了屏幕分辨率、光学限制，而是也与硬件形态有关。目前大多数VR头显采用平面显示模组，人眼看到的图像宽度（水平视场角）受到屏幕大小限制，屏幕越大，头显体积也越大。而短焦VR在此基础上优化了光学设计，可以将VR图像在人眼外围弯曲，进而扩大视场角。

同样，AR眼镜也受到视场角限制，比如全息光学有展度限制，光波导则受到镜片对角等实际问题限制。

3，人体工学

Quest 2重503g，厚7.8厘米，整体体积并不够轻薄，而限制VR头显外观的困难主要在于光学和显示方案。从2014年到现在，AR/VR光学方案没有巨大的变化，主要还是几大类，如光波导、自由棱镜、光学阵列等等。这些方案的缺点是体积、重量大，用来设计AR/VR头显时，不得不在功能性和轻量化之间做权衡。

假如牺牲部分分辨率，也许可以将显示模组做的足够轻薄，但驱动器、定位模块体积依然较大，因此整个硬件系统看起来还是笨重。因此，缩减AR/VR体积的关键不只是优化显示系统等单个方面，而是从多方面减少硬件规模。

目前来看，Meta正在研发的全息显示方案Holocake比Pancake等更常见的方案更具外形优势，厚度和体积都更小。为了将XR设备缩减到眼镜大小，全息光学在未来可能成为一种趋势。

4，视力矫正

目前，近视眼用户在使用VR头显时常常需要戴镜框眼镜、隐形眼镜或屈光镜片配件，为了在头显中容纳框架眼镜，VR头显需要具备一定的适眼距，适眼距大会限制视场角、眼动范围。而且打适眼距意味着头显厚度也大，重量也增加。不同的人轮流使用同一台VR头显时不能直接佩戴，还需要预先调整适眼距，或是替换屈光镜片配件。

因此，接下来VR头显将需要配备自适应屈光调节模组，但同时要具备低功耗、轻量化等优势。

5，VAC视觉问题

VR需要动态变焦，以解决视觉辐辏调节冲突/VAC等舒适度问题。尽管在VR中，视觉焦点和图像焦点不匹配的问题不算明显，但很多科研人员一直致力于解决该问题。因为VAC问题可能会造成视觉疲劳等不舒适的现象。Lanman认为，尽管目前解决办法多种多样，但这似乎可以通过计算显示方案来解决。

目前，Meta将一部分重心放在全息显示技术研发上，因为全息方案具有外形优势，Meta希望用全息技术来解决VAC问题，替代目前研发中的可变焦VR（尽管采用短焦设计，但外观依然是头显形态，难以做成眼镜）。不过考虑到部分限制，目前还不确定能否打造出基于全息光学的AR/VR眼镜。

6，通用眼球追踪

适用于所有人的眼球追踪，将成为VR发展的关键推动力，对于VR硬件和算法都很关键。未来，可变焦显示、全息显示方案都将依赖于可靠的眼球追踪技术。

目前，眼球追踪面临的问题包括：不同人眼的外观差异、眼皮和睫毛遮挡、异常值、眼球动态变形等等。

7，畸变校正

在VR中加入透镜，通常会造成一种不明显的现象：pupil swim，当你快速移动头部时，可能会发现这种光学畸变，或是产生某种视差。Lanman认为，解决这一问题的办法之一，是通过眼球追踪来动态调节。尤其是对于可变焦VR来讲，还需要动态调节畸变。解决动态畸变，则将需要融合感知、光学和算法等多种技术。

因此，Lanman认为未来所有的计算式显示技术，都将依赖基于眼球追踪的畸变校正方案。

8，HDR

测量办公室等室内环境的亮度，常常至少可达到1000到2000nit以上，相当于市面上HDR电视的水平。室内灯源的亮度可高达10000nit以上，窗外阳光照射的街边亮度可轻易达到100000nit。相比之下，VR头显目前的亮度大约在100nit左右。

相比于在AR/VR中还原户外场景，重现室内场景是比较合理的目标，尽管如此，依然需要解决光学设计上的挑战。

9，视频透视

这里需要解决的问题是，如何缩小透视摄像头的体积、提升视频透视质量。Lanman认为，如果神经渲染等图形算法可以实时运行，也许有望优化视频透视效果。

目前，Reality Labs正在尝试将机器学习算法和传统透视技术结合，以实现符合人眼视角的透视效果。

10，面部重建

在VR社交、VR会议中，如果你想要以自己的形象参与，则需要某种3D面部重建，即使是扮演预设的虚拟化身，你可能也需要面部追踪来控制虚拟化身的表情。但问题是，AR/VR头显会遮挡住一半人脸，从而影响面部追踪。

此前，为了解决这一问题，Reality Labs曾做出一些尝试，比如在头显面罩内集成应变仪等非图像传感器，以实时重建被遮挡的面部结构。此外，也有一些用手机预先3D扫描面部的方案。

参考：

https://www.youtube.com/watch?v=z_AtSgct6_I

（ END）