Meta Reality Labs首席科学家：理想中全天候AR眼镜设计思路

Esther | 编辑

在VR行业，Meta是整个行业的风向标，而在AR领域，它也早已开始布局未来。虽然还未正式发布AR眼镜，Meta Reality Labs在AR技术的研发已经有多年时间。Meta认为，市面上现有的AR眼镜并不是真正理想的AR，它们的体积都相对笨重，达不到普通眼镜大小。而功能更强的AR头显（HoloLens 2、Magic Leap 2）外观更接近护目镜，比较笨重不适合全天候佩戴，而且外观设计不如眼镜自然。

也就是说，现有的技术依然从多方面限制AR发展，在Meta预期中，真正的AR需要全新的技术突破。实际上，在去年底举行的IEEE国际电子设备会议上，Meta Reality Labs首席科学家Michael Abrash就指出，理想的AR眼镜将需要全新的计算架构，同时还分享了Meta对此的构想，以及AR眼镜发展路径的规划。

Michael Abrash

Abrash表示：除了实现眼镜大小外，AR眼镜还需要具备全天续航和逼真的AR视觉效果。为了实现这些目标，AR硬件和软件需要一系列变革，这便是Meta推动的方向，比现有技术更创新的AR方案。这意味着，需要一种全新的计算架构，来满足眼镜大小AR设备的需求。

1，全天候续航

首先，为了提升AR眼镜的续航，降低散热，将需要降低硬件功耗。

Abrash表示：想要将移动设备的电源效率提升100到1000倍，将需要重新思考整个架构/系统，而且实现软硬件的端到端协同设计。也就是说，同时设计硬件和软件，开发出可无缝配合的完整方案。

Abrash公布了一张图表，以对比一些低级计算任务的功耗。其中，功耗最大的计算是数据传输，包括无线数据传输和设备内部芯片之间的数据传输。除此之外，还计算了AR关键功能SLAM和手势识别的功耗，其中主要来自于将数据从RAM输入和输出。

因此可以看出，要想降低AR眼镜的功耗，则需要减少数据传输量。为此，Meta希望设计一种分布式计算架构，其特点是能更广泛的分配计算操作，而不是在集中式计算中心传输数据，从而减少数据传输浪费。

Abrash解释，构建分布式计算架构可以从AR眼镜的摄像头传感器开始，比如摄像头捕捉环境数据后可以先进行初步计算，然后再向系统管道发送最重要的数据。因此，Meta在设计AR眼镜的同时也在设计配套的软件系统，目的是让硬件设计考虑到软件算法的特性，尤其是传感器在捕捉到数据之后会进行预筛选，然后再传输到系统进行处理。

这意味着，AR眼镜对于传感器的要求也会更高，不仅需要满足低功耗，还需要高性能、小尺寸，而这将需要图像传感等技术的突破创新。

2，定制传感器

目前，Reality Labs也在研发相机传感器原型，专为降低AR眼镜功耗、提升性能需求而设计。该传感采用一种名为“数字像素”的传感器阵列（DPS），特点是可以捕捉每颗像素在三种不同的光照级别中的数字光值，而每颗像素则有独立的内存来储存数据。捕捉到数据后，传感器系统会在三种数字光值中进行选择，然后再传输到计算芯片中。

这种设计的能效更高，在30fps刷新率时仅耗电5mW，约为常规传感器的25%。此外，该方案还支持扩展，刷新率可提升至480fps。

Abrash表示：这不仅降低了功耗，还大幅增强传感器的动态范围，因此可以在同一帧中同时捕捉高对比度的光影。

HDR功能对于未来的AR眼镜传感器非常重要，它可以让AR眼镜在室内、户外等各种亮度环境中稳定运行。

不仅如此，Meta希望在摄像头传感器上进行更复杂的计算。Abrash表示：未来，也可以在传感器上运行深度神经网络（DNN）的浅层部分，以实现眼球追踪和手势追踪等视觉分割/分类任务。当然，这还将需要更多的硬件创新，比如真正基于传感器的ML计算所需的超密集、低功耗内存技术。

Abrash指出，未来，MRAM技术将成为开发AR眼镜的关键因素。据悉，MRAM是一种磁阻式随机存取内存，它的特点是拥有SRAM静态随机存储器的高速读取写入能力，以及DRAM动态随机存储器的高集成度，基本支持无限次重复写入。Meta的分布式AR计算架构将与端到端系统结合，以此来改善功耗、传感范围和硬件体积等方面。

另一方面，Meta认为AR的前景是根据传感数据来推断周围的环境，并不一定要一比一复制真实环境，因此用算法来推断很重要。还提出，AR半导体技术需要三项关键创新：

1）体积最小化、新材质；

2）

异构集成，先进的封装技术等；

3）软硬件协同设计，实现内存为中心的计算、传感器内置计算。

更重要的是，AR光学显示领域也需要创新的半导体方案，全天候、时尚的AR眼镜需要优化亮度、对比度、分辨率、色深、色域、光效、像差、伪影、透光性、FOV、体积和重量等方面，而目前市面上的AR方案（2D反射显示、激光扫描、发射显示器等等）还不具备这样的水平。

接下来，Meta看好超小像素间距的microLED方案，它现在已经具备体积、亮度、分辨率等优势，未来还需要提升效率损失，以及高折射率半导体的光结构等方面。

参考：

https://www.facebook.com/MetaResearch/videos/1587970398245823/

（ END）