Esther|编辑
日前,Varjo公布了自家AR/VR云端协作平台Varjo Reality Cloud,该平台的特点是基于Varjo XR-3头显,利用LiDAR传感器实时扫描物理环境,并将扫描到的3D环境数据在云端共享,允许其他人通过2D设备或AR/VR头显远程进入你所在的空间。其应用场景包括:社交、远程办公、工厂等等。
现有跨平台AR/VR远程协同平台有许多,比如微软Mesh、NVIDIA Omniverse等等。相比之下,Varjo Reality Cloud称其特点是基于“人眼分辨率”AR/VR头显,支持超高清VR显示和AR透视效果,而且采用低码率视频串流算法,实时渲染的3D场景比预先渲染的metaverse速度更快、效果更自然,直接用XR-3头显一边扫描就能一边共享3D场景。
也就是说,在共享3D场景过程中,LiDAR传感器也在实时动态更新场景变化,参与者可以看到这个空间中人的移动或产品的变化等等。另一方面,通过XR-3的双1200万像素透视摄像头,你可以清晰看到周围的空间和“虚拟传送”到这个空间中的其他人。
那么,Varjo Reality Cloud实际效果如何呢?近期,外媒Road to VR的记者Ben Lang在硅谷一场会议中,曾在XR-3中预览用Varjo Reality Cloud生成3D虚拟场景的效果,他表示:这是一个具有体积的虚拟空间,其中的人和场景都是由彩色的点云数据组成的,不过实际效果看起来不如Varjo以前展示的摄影测量demo效果好。
值得注意的是,Lang所体验的内容是预先录制好的VR视频,并不是实时生成的画面,因此无法体现实际应用的延迟。不过,在体验过程中,Varjo分别展示了3D场景扫描和共享的效果,以及在AR透视中预览其他人被“传送”到你周围的效果。看起来,Varjo Reality Cloud的跨平台“传送”效果依然需要某种3D扫描/摄影测量方案,而不是用虚拟形象来代表被传送的人。
Lang表示:Varjo Reality Cloud展示了一个立体空间,而不是单纯的全景视频,我可以在空间中移动,还可以看到3D动态扫描的立体人像。不过,图像逼真程度还不够完美,会存在像素缺失,边界不清晰等问题。
他认为:短期内,Varjo Reality Cloud可能无法达到预先录好的摄影测量视频的效果。不过Varjo表示:现有的技术依然在概念验证阶段,未来还将继续提升画面逼真度。
另外,Varjo Reality Cloud还将实现3D场景在云端的实时共享,将3D场景串流到云端,让所有参与者看到同步的画面。而这为云端计算量,以及传输速度、延迟等方面带来极大挑战。为此,Varjo研发了一种名为“foveated compression”的低码率传输算法,每秒传输速度只需达到几百万字节。据猜测,该算法可能基于Varjo的注视点渲染功能,以高清分辨率渲染用户注视点区域,而余光则可以降低分辨率/码率。
除了XR-3外,其他人可以使用智能手机、PC、平板电脑或其他VR头显来使用Reality Cloud平台,加入3D会议场景。
实际上,在正式发布Varjo Reality Cloud之前,Varjo曾表示:这可能是我们有史以来最重磅的发布。但它真的有那么神奇吗?
Lang认为,仅对于虚拟会议/协同场景,实时3D扫描方案看不到太大优势,除非会议场景需要精准的3D呈现。另外,即使参与者可以看到主持人周围的3D空间,但他们并不能与之互动,那么重现3D场景的意义又是什么?的确,能够实时同步逼真的3D场景看起来令人惊奇,但其真正的价值还有待思考。
对此,Varjo指出了一个理论上的应用场景:工厂车间的传送带需要检修时,可以通过Varjo Reality Cloud平台来对接远程技术人员。比如,一个人可以戴上XR-3头显实时扫描工厂内部,并邀请其他人进入扫描后的3D场景,共同分析传送带的问题。
不过,Lang认为在工厂中使用高端PC VR比较麻烦,硬件笨重且需要连接线缆,因此不如直接用手机录视频那么实用。
除此之外,Varjo认为Reality Cloud平台未来还可以用于日常生活,比如:模拟物理模拟的metaverse。当然,这个概念在近几年常常被人提起,不过实际应用却并不容易。
总之,Lang认为自己并未看到Varjo Reality Cloud所探索的方向有哪些革新之处,即使经过十年开发后应用在C端场景中。的确,通过AR、3D扫描等方式将远方好友请到家里来,这是一个合理的应用,但它只是一种视觉模拟,在虚拟空间中的好友并不能坐在你家沙发上,也不能喝你倒的酒。那么,除了比现有的AR/VR社交平台看起来更逼真写实一些,Varjo Reality Cloud又有哪些不同呢?或许,Varjo应该再继续思考一下这个平台有哪些不可替代的关键应用。
参考:
https://www.roadtovr.com/varjo-reality-cloud-announcement-hands-on
https://varjo.com/blog/varjo-reality-cloud
( END)
   推荐阅读
每天五分钟,轻松了解前沿科技。
—— 青亭网
继续阅读
阅读原文