查看引用/信息源请点击：映维网Nweon
通过手势滚动列表和浏览内容
（映维网Nweon 2023年09月18日）Meta认为，在XR中通过手势滚动列表和浏览内容而非采用控制器会增强用户移动体验。所以，团队申请了一份名为“Scrolling and navigation in virtual reality”的专利。其中，除了通过头显的手部追踪来识别手势之外，Meta表示同时可以通过手腕式可穿戴设备来检测手势。
图4示出一个可穿戴XR示例。例如，XR可穿戴设备可以是手腕式可穿戴设备，如XR手腕传感器400。手腕传感器400可以配置为感测用户的手的位置和运动，并将感测到的位置和运动转换为输入手势。输入手势可以是用户手腕的微运动，例如捏合、滑动、轻触等动作等。
XR手腕传感器400可包括框架402和传感器组件404，所述传感器组件404耦合到框架402并配置为收集有关局部环境的信息。传感器组件404可以包括摄像头、IMU、肌电传感器、飞行时间传感器、光学传感器等。
以这种方式，XR手腕传感器400可以判断/检测用户的输入手势，解释用户手腕的位置和运动数据，并根据指定的控制方法、滚动参数等将手腕输入手势转换为导航命令。
所述XR手腕传感器400同时可以包括一个或多个音频设备，例如输出音频传感器408a-408b和输入音频传感器410。输出音频换能器408a-408b可向用户提供音频反馈和/或内容，而输入音频换能器410可捕获用户环境中的音频。XR手腕传感器400同时可以包括其他类型的屏幕或视觉反馈设备。
图5示出示例计算系统500的框图，并用于实现发明描述的各个方面。计算平台502可以配置为执行算法来转换感知的手腕运动，例如通过基于计算机视觉的头显手部追踪或通过手腕可穿戴的手腕追踪。
以滚动为例，可以在固定点执行左手或右手的拇指对食指捏合手势，捏合并抬起手则向上滚动导航，捏合并放下手则向下滚动。增加/减少抬起或放下速度可以调整滚动速度。
在计算系统500中，手腕手势模块508可以基于远程平台504的传感器组件（如传感器组件404）的手腕运动检测来将输入手势转换为XR环境中的导航，例如滚动命令。
手腕手势模块508可以确定输入手势的角度、相对坐标、旋转和/或其他位置/运动参数，例如根据由计算平台502实现的坐标。感测数据可以是IMU数据、眼动追踪数据、肌电图数据、飞行时间数据、光学数据和/或类似的数据，以便表征输入手势的物理参数。
手腕手势模块508可根据所述手的实际感知运动和位置输出所述手的计算机化渲染，而所述用户的手可根据所述控制方法模块512指定的控制方法和所述滚动模块516指定的滚动参数映射到导航/滚动命令。
计算机视觉模块510可以实现与手腕可穿戴传感器执行的类似的功能，例如追踪输入手势。计算机视觉模块510可以是头戴式传感的一部分，以便光学追踪用户的手部位置和运动。
控制方法模块512可以指定用于导航命令的翻译的一个或多个控制方法。作为示例，控制方法可用于诸如在熟悉位置快速滚动和选择项目、悠闲地浏览连续内容等任务的滚动。根据指定的控制方法进行输入手势时，用户的手/手腕的姿势可以基于臂前姿势、臂侧姿势或其他适当的姿势。
捏压模块514可以根据所选或配置的控制方法和/或滚动参数识别用于转换或确定导航命令的用户捏压动作。用户的捏压动作可以通过手腕传感器400a-400b等手腕可穿戴设备检测到。例如，手腕传感器400a-400b可包括两个IMU，例如一个IMU位于用户手背上，另一个位于手腕上。
滚动模块516可以识别XR滚动的其他可配置滚动参数或特征。例如，滚动参数可以包括有状态/无状态缩放、自然/非自然滚动等。
传递函数类型可用于滚动模块516，以确定滚动的动量，例如基于特定输入手势的模拟运动惯性。选择机制可以指用户在特定滚动参数之间切换或选择的方式。滚动模块516可实现自然和直观的一维和二维XR滚动和选择技术，并适用于离散和连续任务，短和长滚动距离，快速和慢滚动任务。
滚动模块516同时可以对捏压模块514的检测误差进行调整，例如基于IMU或手腕可穿戴设备400a-400b的其他传感器在捏压检测中的不确定性。
传递函数模块518可控制共享人工现实环境和个性化人工现实环境的输出。传递函数模块518可以处理手腕可穿戴设备400a-400b中的噪点伪影。在考虑噪点后，传递函数模块518可以模拟特定的滚动动量，例如基于用户所做的手腕输入手势的点击力矩。例如，如果用户做出轻击输入手势，则传递函数模块518根据与轻击输入手势对应的“动量”确定诸如通过可滚动列表的滚动力矩。
动量或动量参数的程度可由基于传递函数的传递函数模块518确定。传递函数模块518可以选择最优传递函数，例如线性传递函数、二次传递函数或其他传递，从而令滚动可滚动列表的动量更加“可控”。
例如，最优传递函数可以考虑用户滚动到长可滚动列表的特定点的平衡、精度和速度。在一个实例中，由传递函数模块518实现的传递函数可以使用户在开始滚动列表时做出相对较大的轻弹手势，然后在可滚动列表中的项目到达所需点时开始减速。
在到达期望的点之前，传递函数模块518可以应用所选的传递函数，使滚动动量变慢，并且更易于用户控制。所选的传递函数可以基于传递函数模块518对预测列表中用户可能停止的位置的预测知识，而预测知识可以基于过去的用户历史、可滚动列表的特征、滚动情景、机器学习算法等。
传递函数模块518通过确定与所选择的更好的传递函数相对应的更直观、更自然的滚动体验，从容有利地改善了滚动的用户体验。特别地，所选的传递函数可以平衡传递函数模块518如何将用户执行动作的特定速度转换或转换为特定的动量水平。
所选择的传递函数可能与可滚动列表的情景相对应，例如列表中包含哪些项目，列表是否作为XR游戏的一部分滚动，列表中的项目在语义上如何不同等等。传递函数模块518应用的传递函数可以让用户在XR环境中以类似于在触摸屏设备滚动的直观方式进行导航或滚动。
例如，XR模块520可用于通过计算平台502为远程平台504呈现共享的人工现实环境。XR模块520可以生成导航或滚动操作的XR表示，例如滚动条合箭头键。这样的XR表示可以暂时呈现为XR可视元素，或者根本不呈现。
图6-8举例说明了用户在人工现实环境中导航视图600、700、800的示例。
图6的示例视图600描述正在使用的相对速率控制。简单来说，用户作为输入手势所做的捏压动作的角度可以对应和/或用于根据角度与中性点/阈值角度之间的相对差值来选择滚动速度。中性点/阈值可以由先前捏捏手势的位置确定。
例如，滚动的速度可以根据手的当前位置和用户开始进行捏动时手的位置之间的差异来计算。
图7的示例视图700说明具有速率控制的位移微动。简单来说，每一个离散的捏压动作或用户手腕的闭合捏压动作都可以作为一个输入手势，并分别通过连续的滚动来滚动列表。
每次捏合都可以导致在可滚动列表700中滚动一个项目、两个项目或其他设置的离散数量的项目/实例，而保持捏合动作可以导致可滚动列表700连续滚动，直到用户释放。
例如，图8的示例视图800说明正在使用的滚动控制。通过保持捏合并朝特定方向移动，用户可以执行自然直观的滚动操作。
相关专利
：Meta Patent | Scrolling and navigation in virtual reality


https://patent.nweon.com/29945
名为“Scrolling and navigation in virtual reality”的Meta专利申请最初在2022年2月提交，并在日前由美国专利商标局公布。
---

原文链接：https://news.nweon.com/112747
继续阅读
阅读原文