编者按：据11月30日Netflixtechblog显示，Netflix现已推出动态优化 HDR（高动态范围） 视频流功能。该功能使用了新的算法HDR-VMAF，提升了用户的观看体验。Netflix于2016年开始推出HDR视频，此后其提供的HDR影片数量一直持续增长。HDR视频可以提供更广泛的色彩和更高的对比度，从而提供更趋近真实的图像。受限于不同设备和网络条件的差异，HDR视频的播放质量会受到影响。
作者：Aditya Mavlankar, Zhi Li, Lukáš Krasula and Christos Bampis
编辑整理：可乐吨吨机
技术审校：李智（本文作者之一）

HDR-VMAF

由于 VMAF 仅限于标准动态范围 (SDR) 视频信号，Netflix缺少测量 HDR 视频多方法评估工具 ( VMAF ) 的系统能力。为了解决这一问题，Netflix开始着手开发基于VMAF的HDR变体：HDR-VMAF，它可以更准确地测量用户对HDR视频的质量评估。
该系统使用了一个称为Dynamic Optimizer（以下简称DO）的动态优化编码，基于实时反馈和机器学习算法来进行决策。
（注：HDR-VMAF 是 VMAF 的一个扩展，用于评估 HDR 视频的质量。HDR 视频使用更高的亮度范围和色域，因此需要使用专门的工具来评估其质量。）
在此之前，Netflix使用具有预定比特率的固定梯度进行 HDR 视频流的运作。2021年Q3-Q4对 HDR-DO 编码进行了 A/B 测试；2022 年初进一步改进梯形图生成算法；2022 年Q2开始回填现有的 HDR-DO 编码；到 2023 年 6 月，整个 HDR 目录进行了优化。
图1为流量从固定比特率到 DO 编码的迁移

比特率与质量比较

HDR-VMAF被用来衡量HDR视频信号的感知质量，而与具体的容器格式无关（例如杜比视界Dolby Vision或 HDR10）。HDR-VMAF 专注于信号特征而非显示特征，因此它的流程中不包括显示映射（display mapping）。显示映射是显示器基于其自身特性（峰值亮度、黑色水平、色域等）以及基于内容特性和/或在比特流中信号的元数据所应用的特定色调映射。
HDR10和杜比视界有两个差异：①在编码之前对信号应用的预处理；②元数据在不同的显示器上指导显示映射。因此，HDR-VMAF将捕获①的效果，但忽略②的效果。在流式传输HDR内容的异构设备群体非常杂，显示能力差异很大——这一方面与不同会话之间的因素类似，比如周围光线、观看距离、设备上的图像放大算法等。“VMAF不包含显示映射”意味着分数是针对“理想显示器”计算的，该显示器能够展现视频信号所跨越的整个亮度范围和色域——因此不需要显示映射。在查看与这两种格式相关的速率与质量曲线之前，了解此背景非常有用。
下面展示了HDR目录中几个影片的比特率与质量示例。我们展示了两组数据。在每组中，我们都展示了杜比视界和HDR10的曲线。
第一组（图2）对应的是一集美食烹饪节目，其中包含了来自世界各地的快节奏场景。
图 2
第二组（图3）对应的是一部镜头动作相对较慢的电视连续剧。优化的编码是从由不同比特率、空间分辨率和编码方案对应的各种比特率-质量点形成的凸包中选择的。
图 3
为了简洁起见，Netflix没有标注梯度点的空间分辨率，固定梯度在提高空间分辨率方面速度较慢，因此在两个连续的1080p点或两个连续的4K点之间的质量几乎持平。另一方面，随着比特率的增加，优化梯度呈现明显的质量提升。
固定梯度预设了4K比特率 — 8、10、12和16 Mbps — 最高不会超过16 Mbps。相比之下，"优化阶梯"采用一种更高级的策略，它旨在即使需要更高的比特率，也要为比特率阶梯的最高档位提供非常高水平的质量，并且会根据内容的复杂程度调整比特率，以满足最挑剔的观众的需求。
此外，即使优化梯度可以提供比固定梯度更高水平的视频质量，HDR-DO梯度所需要的存储空间平均只有固定比特率阶梯的58％。这是通过在比特率较高区域更高效地分配不同档位的比特率来实现的，毕竟，在相近的码率区间内设置多个编码质量档位（高比特率点）没有任何好处——例如，在固定阶梯度上，3个QHD(2560x1440)点放在6到7.5 Mbps范围内，然后是四个4K点，分别是8、10、12和16 Mbps。
需要注意的是，固定梯度编码使用了固定时长的组间画面（GoP），但由于场景转换边界没有与瞬时解码器刷新（IDR）帧对齐，因此存在一些效率上的损失。而DO编码是基于拍摄内容的，因此IDR帧与拍摄边界是对齐的。这意味着每当视频中的场景发生变化，IDR帧会被放置在这些切换点上，使得编码效率得到提高，减少不必要的数据。
对于特定的码率-质量操作点，DO的处理过程有助于在不同的拍摄内容之间分配比特，同时最大化整体目标函数。同样，得益于DO框架，在给定的码率-质量操作点内，难以编码的画面可以并且确实会在编解码器的限制下使比特率暴增。

HDR-VMAF会开源吗？

作者们致力于支持开源。然而，目前HDR-VMAF依旧为Netflix量身定制。此外，当前版本在算法上有一些限制，专家们正在努力改进。当HDR-VMAF正式发布时，在感知质量预测上会有更高的准确性，让“开箱即用”更加简单。
原文链接：https://netflixtechblog.com/all-of-netflixs-hdr-video-streaming-is-now-dynamically-optimized-e9e0cb15f2ba
继续阅读
阅读原文
关键词
编码
内容
HDR视频
算法
场景