8K@60fps编码用48Mbps就够吗？

来源
：8K Association

作者
：Ben Schwarz

内容整理
：胡经川

本文从 8K 内容的编码、质量评价以及码率和质量的权衡对 8K 内容的实时编码现状进行了分析，并进一步展望了 8K 内容的码率会达到一个什么样的水平

编码标准
视频质量标准

客观指标
主观衡量标准

编码权衡

案例1：NHK STRL: 8K广播频道
案例2：8K互联网直播流

超越HEVC
参考

在我们对 8K 视频编码这一新兴领域永无止境的探索中，我们一直试图了解编解码器随着分辨率的提高是否会变得更加高效。如果用 bit/pixel 这个标准来定义的话，这当然是不言而喻的。那么如果要深入探究这个标准，那么就必须回答一个问题：8K 内容所需的真实比特率是多少，更具体地说 8K/60Hz/10bit/HDR 内容编码的比特率是多少？它又取决于什么？

编码标准

首先就是对于编码而言，应该要注意哪些因素。最主要的可以概括为以下五个最关键的因素：

使用的编码标准，比如 AVC/H.264，HEVC/H.265，AV1，VVC/H.266
视频编码器的实现和优化
视频的类型，即离线（VoD）或直播（直播OTT、广播）
视频的内容，如：谈话类、电视剧或体育直播。
视频的质量标准

视频质量标准

编码的结果需要用最终的视频质量来评估，而衡量视听体验质量主要是通过一些客观评价标准或者通过一些主观实验来进行衡量的。

客观指标

峰值信噪比（PSNR）或结构相似度指数（SSIM）是最常用来衡量视频质量的两个指标。然而，这些指标与人类视觉系统（HVS）的相关性不高，而 VMAF 或 ITU P.1204 标准与感知质量则有更好的关联，但目前只支持到 4K 分辨率，而且 VMAF 不支持 HDR，而 HDR 是 8K 格式的一个关键因素。另一个尚未被广泛采用的指标，由 Fraunhofer HHI 提出的 HVS 指标，称为XPSNR1，支持8K视频。

主观衡量标准

尽管人工智能不断进步，但没有什么能胜过人眼，评估特定比特率下的编码视频质量的最好方法是使用正式的主观实验。这意味着让人类观看视频并对其质量进行评价。然而，这些实验是昂贵和耗时的。因此，主观测试的规模不大，因为这些测试不能经常进行。主观测试通常用1（非常糟糕）到5（优秀）的平均意见分数来衡量。

编码权衡

没有恒定不变的标准，凡事都要有一个权衡，8K 视频的编码也是如此，如何实现码率和质量的权衡是十分重要的。下面列举了两个用例来描述这种权衡，两个用例都使用 HEVC 对类似广播的内容进行实时编码。

案例1：NHK STRL: 8K广播频道

NHK 进行了一项关于 8K 广播应用的推荐比特率的研究。在这项研究中，使用第一代基于 HEVC ASIC 的实时编码器对视频进行了不同比特率的编码，并通过主观实验评估了感知质量。该研究将广播级质量定义为达到 3.5 的平均 MOS，最低 MOS 为 3.0。结果表明，要达到广播级质量，需要 85Mbps 的比特率。这个数值后来被部分媒体行业认为是 8K 直播的 "标准 "比特率。但是，如前所述，研究中使用的是第一代编码器。

案例2：8K互联网直播流

在欧盟资助的 Immersify 项目的背景下，Spin Digital 进行了一项正式的主观测试，使用最新一代基于 CPU 的 HEVC 实时编码器（Spin Enc Live4）测量沉浸式空间中 8K 的推荐比特率。实验的结论是，在 25 至 40Mbps 的比特率下可以实现广播级的质量，如下图所示。使用最近的 8K 电视和较新的 HDR 内容进行的进一步测试表明，48 Mbps的比特率（比NHK的比特率低约40%）足以实现目标广播质量。其他行业合作伙伴也在演示和现场活动中证实了这一数值。

编码器包括哪些技巧和优化，可以在较低的比特率下实时制作高质量的视频。

感知优化编码使用人类视觉模型提高视觉质量，该模型可以实时编码 8K/60Hz 的内容。启用该选项后，Spin Digital 声称他们可以实现 48Mbps 的目标比特率，即使是更具挑战性的内容（如体育赛事）。
通过各种算法优化，该编码器通过使用基于统计模型的块划分和基于机器学习的模式选择，在保持高质量的同时实现了高编码速度。Spin Digital 认为，这些统计模型可以解决复杂的编码问题，而无需依赖神经网络或类似技术。

一份比较不同 HEVC 编码器的压缩效率和编码速度的白皮书详细描述了 Spin Digital 对 8K 内容的一些实验。

该实验在不同的 8K 内容下对不同的 HEVC 编码器进行了比较，显示了非常不同的质量-性能综合结果（以 fps 为单位的编码速度与相同质量下的比特率增加）。可以看出 Spin Enc Live 产生了与离线编码器相似的质量，其编码速度和质量明显高于实时软件和硬件（例如基于GPU的）编码器。一台带有两个Intel Xeon Platinum 8368 CPU（2x28核）和一个 RTX 3070 GPU（用于NVENC）的服务器进行了这些比较测试。

综合来看，Spin Digital 目前建议在使用 HEVC 时，8Kp60/10bit/HDR 直播内容的码率为 48 Mbit/s，而且编码器仍有改进的余地，但在 HEVC 上的改进余地不大。

超越HEVC

Spin Digital 与Fraunhofer HHI 合作，展示了 VVC 离线编码器（HHI的VVenC）与最常用的 HEVC 编码器（x265）所产生的视觉质量对比。该演示表明，VVC 在 25Mbit/s 时产生的质量与 HEVC 在 50Mbit/s 时相似。然而，对于这种水平的比特率降低，VVC 目前需要比 HEVC 多20倍的计算量，这对于实时场景的应用是不切实际的。与优化的 HEVC 实时编码器相比，使用一个合理的计算资源的实时 VVC 编码器可以实现大约 15% 的比特率降低，从而使 8Kp60/10bit/HDR 内容的编码比特率达到大约40 Mbit/s。

为了完全确认使用 VVC 编解码器的 8K 直播的这些比特率，开发商和服务提供商将需要致力于编解码器的优化、新的质量指标和更多的主观实验。

参考

C. R. Helmrich, et al., “Xpsnr: A Low-Complexity Extension of The Perceptually Weighted Peak Signal-To-Noise Ratio For High-Resolution Video Quality Assessment,” ICASSP 2020, pp. 2727-2731
Y. Sujito, S. Iwasaky, K. Chida, K. Iguchi, K. Kanda, X. Lei, H. Miyoshi, K. Kazu, “Video Bit-rate Requirements for 8K 120-Hz HEVC/H.265 Temporal Scalable Coding: Experimental Study based on 8K Subjective Evaluations”, APSIPA Transactions on Signal and Information Processing, 2019.
S. Sanz, A. Nikrang, “Report on QA and Content Preparation Guidelines”, Immersify Project, October 2021: https://immersify.eu/home/guidelines-reports/qa-and-content-preparation/ Spin Digital, “8K HEVC Real-time Encoder (Spin Enc Live)”: https://spin-digital.com/products/spin_enc_live/
Spin Digital, “Joint Press Release: Global 8K Live Streaming Showcase 2020”, January 2021: https://spin-digital.com/announcements/global-8k-live-2020/
Spin Digital, “HEVC Real-time Software Encoder for 8K Live Video Applications”, December 2020: https://spin-digital.com/tech-blog/whitepaper-spin-enc-live/
Spin Digital, “8K HDR Encoding and Playback using VVC”, July 2021: https://spin-digital.com/tech-blog/8k-vvc-encoding-and-playback/

继续阅读

阅读原文