论文标题
：Wireless Multiplayer Interactive Virtual Reality Game Systems with Edge Computing: Modeling and Optimization

发表期刊
：IEEE Transactions on Wireless Communications

作者
：陈智勇，祝豪瑜，宋利，何大治，夏斌

原文链接
：https://ieeexplore.ieee.org/document/9789210

无线多人互动虚拟现实（VR）游戏同时具备VR的高计算负载和多人互动游戏的不可预测互动，这给无线通信系统的设计带来极大的挑战。我们提出了一个基于移动边缘计算（MEC）的无线多人互动VR游戏传输框架。该框架中的用户之间的互动可以被建模，并且VR的后处理过程可以在MEC服务器或移动VR设备上计算。在该框架中，每个用户的绝对时延被用于防止VR眩晕症，用户间时延差被用于建模互动游戏的公平性。为了最小化平均用户间时延差，我们在用户绝对时延要求、用户本地能量限制、总带宽资源限制和总计算资源限制的约束下，优化MEC服务器的计算资源分配、基站的无线带宽资源分配和后处理决策策略。为了解决这一非凸问题，我们设计了一种基于NESTT-G算法的迭代算法，该算法迭代优化目标函数的截断一阶泰勒近似。数值仿真表明，该算法可以显著降低平均用户间时延差、并且有较低的复杂度。数值仿真还揭示了不同参数和信道状态条件对后处理决策和边缘资源分配的影响。
目录
  • 引言
  • 系统模型
  • 问题提出
  • 问题的转化与求解
  • 数值仿真
  • 结论

引言

虚拟现实（VR）游戏能给用户提供身临其境的体验，并允许用户在游戏中与虚拟世界和其他用户进行互动。据估计，未来几年全球VR游戏市场规模会不断扩大。未来的VR游戏的发展方向会更偏向于无线VR游戏。与传统的有线VR游戏相比，无线VR游戏可以让用户摆脱电源和视频传输电缆，从而获得更大的移动自由度。
由于VR游戏带来的三个特点和要求，利用移动网络传输VR游戏画面非常具有挑战性。首先，VR游戏需要大量的渲染计算，因为VR游戏需要高分辨率（如4K）高帧率（如144Hz）的游戏画面渲染才能保证用户的沉浸体验，这已经超出了大多数移动VR设备的计算能力。其次，VR游戏画面传输需要极高的数据速率，因为360度高分辨率高帧率的VR游戏视频流的数据量相当庞大。第三，对于传统的游戏，只需要100毫秒左右的时延即可提供积极的游戏体验，但对于VR游戏，需要极低的MTP（通常小于20毫秒）才能避免VR眩晕症并保证良好的体验。因为云服务器与VR设备通信需要80到200毫秒，这种对时延的严格要求使得设计基于云的VR游戏系统相当困难。
此外，多人互动VR游戏会带来更多待解决的问题。所有用户的游戏画面都是实时渲染的，这将消耗了大量的计算能力。用户在一个虚拟世界中进行互动，因此一个用户的动作可能会影响其他用户的游戏画面。例如，两个用户正在互相观察，一个用户的动作可以被另一个用户实时看到。如果一个用户扔了一颗手榴弹，手榴弹爆炸了后看到爆炸的用户的画面渲染计算量会急剧增加。换言之，用户之间的互动使得渲染工作量巨大。因此，多人互动VR游戏在提供更好体验的同时带来了更大的挑战。
用户间的互动
因此，我们提出了一个基于移动边缘计算（MEC）的无线多人互动VR游戏传输框架。MEC服务器同时渲染所有用户的VR游戏内容，显然这会给MEC服务器带来巨大的计算量。MEC服务器中的VR内容渲染带来了渲染时延。渲染的内容需要进行后处理（如2D视场投影至3D视场、空间扭曲、时间扭曲等）以适应移动VR设备的显示，后处理过程会带来后处理时延。后处理过程可以部署在MEC服务器或用户的VR设备上。基站需要将渲染后或后处理后的VR内容传输给所有玩家，这带来了传输时延。因此，对于渲染负载不同、传输内容大小不同、信道条件不同的多个用户，应当因地制宜地确定后处理决策，并且仔细地分配包括计算资源和带宽资源在内的边缘资源，以此保证用户的良好体验。因此，我们旨在找出如何充分利用基站、MEC服务器和VR设备的计算和带宽资源，在满足用户的绝对时延约束下，最小化平均用户间时延差。

系统模型

在基于MEC的无线多人互动VR游戏系统中，一个带有MEC服务器的基站通过无线链路连接多个用户。而受目前电池和半导体技术的限制，移动VR设备无法以超高帧率和超低时延独立渲染高分辨率游戏帧。因此，可以大部分游戏画面渲染的工作量卸载到性能强大的服务器上，以减轻移动VR设备的渲染压力。同时，MEC服务器还需要接收多个用户的动作，然后更新游戏的世界状态。
基于MEC的无线多人互动VR游戏系统
我们提出了一个基于MEC的多人互动式VR游戏系统的运行流程。系统中用户之间的互动过程可以分为几个步骤。
  1. 动作上传：每个用户的VR设备利用传感器感知用户的个体动作状态信息（包括6轴自由度信息、视场信息等）和互动动作（包括移动、射击等），并将这些数据上传到MEC服务器。
  2. 世界状态更新：MEC服务器根据所有用户上传的数据更新新的游戏世界状态。更新基于游戏逻辑，包含位置更新方法、伤害计算方法等。游戏世界状态包括所有用户在游戏世界中的位置和视线、动作对用户的影响等信息。
  3. 视场渲染：MEC服务器为用户分配渲染资源，然后使用游戏渲染引擎根据新的游戏世界状态同时地渲染所有用户的视场原始图像数据。
  4. 后处理决策：在视场渲染完成后，视场原始图像数据需要进行后处理以适应VR显示（例如将2D视场投影到3D视场、空间扭曲、时间扭曲等）。MEC服务器决定视场画面后处理是在MEC服务器还是在移动VR设备上执行。如果用户的后处理过程在MEC服务器上执行，则MEC服务器为其分配计算资源。如果用户的后处理过程在本地设备执行，则该计算过程在移动VR设备上执行。
  5. 视场显示：在接收到视场画面后或后处理完视场原始图像数据后，移动VR设备为用户显示视场画面。
基于MEC的多人互动VR游戏系统的运行流程
用户的绝对时延包含渲染时延、后处理时延和传输时延。用户间时延差定义为用户间时延的差的绝对值，用以表征游戏的公平性。
移动VR设备受到能量限制（即电池续航）的约束。在使用移动VR设备进行后处理计算时，在基础能耗之外会消耗较多的本地计算能量。

问题提出

我们所关注的服务质量的指标是多人互动游戏的用户间时延差。而较高的用户间时延差导致游戏的不公平。因此，我们的主要目的是最小化所有互动用户对的平均用户间时延差。那么优化问题可以表述为
优化目标是所有用户在所有时间段的平均用户间时延差的平方。优化变量是后处理决策和资源分配。约束条件包含：每个用户的绝对时延应该小于最大容忍时延（如20毫秒）以避免VR眩晕症；分配的渲染资源、后处理资源和带宽资源在所有时间段都分别在总渲染资源、总后处理资源、总带宽资源的约束下；用户设备在所有时间段的总能量消耗应该小于用户设备的能量存储上限，防止用户不能完成游戏。
由于问题中，后处理决策是离散的，目标中包含绝对时延的差，且后处理决策与资源分配呈现双凸性，那么整个问题是一个非凸问题。

问题的转化与求解

为了求解这一非凸问题，我们设计了一个对应的算法来解决原问题的非凸性。
用于求解原问题的算法框架
首先，将原问题的后处理决策的离散性消除。将离散的决策变量松弛为连续变量，并在目标函数中加上该变量的惩罚项，在惩罚系数足够大的情况下，该问题与原问题可以视为是等价的。
原问题的等价问题
为了迭代地求解该等价问题，需要一个合适的迭代初始点，以防止迭代过程收敛至一个非理想结果，如所有用户的绝对时延均等于最大容忍时延。因此，需要通过最小化所有用户的绝对时延获取迭代初始点。
该问题是一个双凸问题，因此可以先固定初始的资源分配优化后处理策略，再固定获得的后处理策略优化资源分配。这两个阶段均使用NESTT-G算法 [1] 进行优化。
在获得初始迭代点后，可以观察到等价问题的优化目标中，用户间时延差的平方项存在明确的最小值0。根据此特性，我们结合 [2] 中的思路，提出截断NESTT-G算法。该算法的核心点是，将NESTT-G算法中的一阶泰勒近似函数替代为在最小值处截断的一阶泰勒近似函数，以此来减小迭代到最小值附近时，迭代产生振荡导致收敛困难的情况。
因此可以先固定初始迭代点的资源分配优化后处理策略，再固定获得的后处理策略优化资源分配。这两个阶段均使用截断NESTT-G算法进行优化。

数值仿真

截断NESTT-G算法比NESTT-G算法在本问题中可以更快地收敛并且能取得更好的结果。并且，在参数条件较为极端的情况下，截断NESTT-G算法的收敛性更好，更不容易产生振荡。造成性能差距的原因是不管极端条件下的凸凹性如何，NESTT-G算法不适用于优化目标先减小后增大且具有确定最小值的问题，例如变量差的平方。截断NESTT-G算法具有更小的迭代步长，也就是比NESTT-G算法更稳定。在惩罚参数较小的情况下，NESTT-G算法更有可能在最优点附近波动，且波动的程度更严重。因此，由于截断带来的稳定性，截断NESTT-G算法在应用中可以使用更宽松的惩罚，以此得到更快的收敛速度。
为了模拟实际的多人互动VR游戏场景，我们使用了一个虚拟现实视场轨迹数据集 [3] 来生成用户间的互动信息。我们所设计的算法可以合理地决策后处理应该在MEC服务器上还是在本地VR设备上执行。不同用户的平均绝对时延很接近，但不完全一样。这是由于一些用户可能在某些时间段不参与任何交互，因此他们的绝对延迟会被优化得更小。用户间时延差在不同时间段上存在波动，但波动范围很小，且最大的用户间时延差为0.2390ms，对多人互动游戏的体验影响很小。这表明，我们提出的算法在真实数据集上表现良好，符合预期。

结论

本文研究了在基于边缘计算的多人互动虚拟现实游戏系统中联合进行后处理决策和分配边缘计算服务器的渲染资源、后处理资源和基站的带宽资源以最小化用户间时延差的问题。在满足用户绝对时延、总渲染资源、总带宽资源、总后处理资源、设备总能量等一系列约束条件下，建立了通过联合进行决策和分配资源来最小化用户间时延差为目标的优化问题。由于该问题是大规模非凸问题，很难进行快速直接求解。因此提出一种可以有效求解该问题的截断NESTT-G算法和整体的算法框架。数值结果表明，本章提出的算法与NESTT-G算法相比，能达到更小的用户间时延差和更快的收敛速度，可以确保更好的游戏体验。
参考文献
[1] D. Hajinezhad, M. Hong, T. Zhao, and Z. Wang, “NESTT: A nonconvex primal-dual splitting method for distributed and stochastic optimization,” in Proc. Advances in Neural Information Processing Systems, Dec. 2016, pp. 3215–3223.

[2] H. Asi and J. C. Duchi, “Stochastic (approximate) proximal point methods: Convergence, optimality, and adaptivity,” SIAM Journal on Optimization, vol. 29, no. 3, pp. 2257–2290, Sept. 2019.

[3] C. Wu, Z. Tan, Z. Wang, and S. Yang, “A dataset for exploring user behaviors in vr spherical video streaming,” in Proc. ACM on Multimedia Systems Conference, Jun. 2017, p. 193–198.
继续阅读
阅读原文