西湖大学Nat. Mach. Intell.：实现面向元宇宙交互的第一人称主动机械触感

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

当电影《头号玩家》的主人公戴上VR眼镜、进入“绿洲”那一刻，你是否也同样渴望拥有另一个世界？

无论充满争议与否，元宇宙都为人类社交生活提供了新的桥梁与无限可能，已成为当前全社会最热门话题之一。Meta Reality Labs首席科学家Michael Abrash也曾指出：“VR/AR正掀起个人计算机历史上的第二次变革大浪潮，其影响可能超过过去三十年个人计算机的发展，将是继个人电脑和智能手机之后下一代消费级计算机科技产品。”

在人类五感（视觉、听觉、嗅觉、味觉、触觉）中，视、听觉在信息接收方面居于主导地位，味、嗅觉处于辅助地位，而触觉则居于根本地位（依此获得物主感，区分主体和客体的关键）。然而，当前元宇宙主要基于头戴式VR设备构建，提供视觉与听觉体验，仅呈现出一个“可远观”的虚拟世界。因此，在元宇宙中增加真实的触觉感知，将大幅提升交互真实度与用户沉浸感，使虚拟世界不再遥不可及，这也是目前国际学界与各大科技厂商（如Apple，Meta，字节等）正着重发展的方向之一。

近期，姜汉卿团队在国际上首次提出并开发了“高保真主动机械触感交互系统”，给元宇宙带来了全新的感知维度。该工作通过巧妙设计并控制曲面折纸结构，实现跨越“正-负”幅值的大范围刚度变化，且通过仅改变装置自身的力学特性，保证了交互过程由用户触发，实现与真实世界一致的“主动”触感交互体验（第一人称体验），实现用户“所见即所触，所处即所踏”，大幅拓展了当前触感交互的真实性与感知范围，提升元宇宙交互的应用范畴。研究成果以“Active Mechanical Haptics with High-Fidelity Perceptions for Immersive Virtual Reality” 为题，于2023年5月29日刊登在Nature Machine Intelligence（《自然-机器智能》）。西湖大学工学院博士后张壮为本文第一作者，西湖大学工学院讲席教授姜汉卿为本文通讯作者，第一单位为西湖大学。本研究获得了国家自然科学基金、西湖教育基金会、以及西湖大学未来产业研究中心相关经费支持。

为让元宇宙触手可及，过往研究者们尝试过多种解决方案，大多为通过震动或压力代偿创造“被动触感”：包括常见的具有振动功能的手柄、可贴在皮肤上的振动马达、基于刚性连杆或绳索结构的电机驱动手部外骨骼、Meta在2021年发布的气动触觉感知手套……然而，此类“触感”均是由设备出发、给予用户被动的交互体验，距离日常生活中、通常由用户主动触发的“主动触感”仍有一定区别。针对该问题，西湖大学姜汉卿课题组从问题背后的力学原理出发，从根本上突破当前虚拟现实交互的固有思维定式：即通过控制材料单元结构刚度的大幅度变化，实现交互由用户触发、具有第一人称视角的主动机械触感。

图1. 生活中的主动刚度感知及其在元宇宙中的复现与应用

不同于常见的“直线折痕-平面折板”折纸结构，本研究所提出的曲面折纸以“曲线折痕-曲面折板”的折纸设计方法，将弯曲变形引入到折纸折展过程中，实现弹性材料弯曲变形（正刚度）与折纸结构折展变形（可产生负刚度）的可控叠加，进而实现通过主动控制曲面折纸的预设折叠状态，改变其跨越“正-负”幅值的自身结构刚度。这样一来，通过主动按压折纸单元模块,用户便可以体验相应的、由曲面折纸变形所产生的机械触感。该折纸单元既可以产生不同幅值的正刚度来模拟不同场景的软硬程度,也可以产生史无前例的产生负刚度、模拟物体破碎甚至环境崩塌所引起的失重感。

图2. 曲面折纸结构及其跨越“正-负”幅值的大范围刚度调控原理

进一步，该研究将具有变形自感知功能的曲面折纸模块与所开发的虚拟环境进行实时通讯，搭建了折纸初始折叠状态由虚拟环境与交互状态控制、折纸变形与虚拟环境变化由用户触发的虚拟现实主动交互系统，实现虚实世界的双向互通。进一步，得益于折纸的超精巧与可重构特性，研究人员利用不同材质、不同尺寸的折纸模块搭建了两种不同维度的交互装置：一种可引发局部触感的手持式装置,与一种可以产生全身体感的脚踏式装置。在使用手持式交互装置时，用户可通过主动抓握，体验其所交互的不同物品的软硬程度；在使用脚踏式装置时，用户则可通过主动踩踏，以全身运动的形式体验其所处的环境地面特性。

图3. 基于曲面折纸结构的虚实世界双向互通与多尺度交互装置集成

图4. 主动交互过程的生理信号测量与评估

为评估所设计开发交互装置为用户带来的独特体验，研究人员在提供问卷调研的同时，进行了基于两种装置的交互过程生理信号采集。实验结果表明，在使用所开发手持式装置与不同虚拟环境进行交互时，用户手臂所产生的肌电信号与基于真实世界采集的信号变化趋势高度相近，而在采用传统的交互手柄或手势识别等交互方式时，用户肌电信号无法产生显著变化。在使用所开发脚踏式装置与不同虚拟地面进行交互时，除用户腿部的肌电信号变化外，用户心率也相应地产生明显变化。尤其是在冰面场景中，当“冰面”被用户“踩碎”时，用户会因真实跌落所产生的恐惧感瞬间心跳急速加快，实现与真实物理世界交互高度相近的虚拟现实体验，即“所见即所触，所处即所踏”。

该研究以一种第一人称、主动触发、高度真实的方式，为当前虚拟现实交互提供了全新的模式与体验，为超材料（Metamaterial）在元宇宙（Metaverse）中的进一步集成提供了指导方案。也有望拓展虚拟现实技术在娱乐、遥操作、医疗诊治与康复等领域的广泛应用。