写在前面：2022卡塔尔世界杯已经落下帷幕，每场比赛、每个进球都牵动着球迷的心。中国移动咪咕公司作为持权转播商，长期致力于给广大球迷带来最极致的画质享受。在本次世界杯转播中，中国移动咪咕公司在多年积累的制定和落地超高清编解码相关标准的经验基础之上，首次大规模采用咪咕公司参与制定的我国首个超高清高动态范围视频标准——菁彩 HDR (HDR Vivid)技术标准。
在本次世界杯转播中，中国移动咪咕公司在多年积累的制定和落地超高清编解码相关标准的经验基础之上，首次大规模采用咪咕公司参与制定的我国首个超高清高动态范围视频标准——菁彩 HDR (HDR Vivid)技术标准。相比HDR HLG技术以及传统的HDR PQ技术，菁彩 HDR (HDR Vivid)在色彩丰富度、真实还原度、色调映射关系和色彩信息动态调整显示等方面有着更接近真实世界的呈现效果，基于图像学蒙特卡洛方法有效曲线空间计算模型，HDR Vivid曲线比HLG曲线在场景真实还原度方面提升约1.5倍。
图1 HDR Vivid 效果图

本文带着大家了解一下 HDR Vivid 的相关技术。在具体介绍 HDR Vivid 之前先了解一下 HDR 技术。
    背 景 篇    
HDR在计算机图形学与电影摄影术领域中是用来实现比普通数位图像技术更大曝光动态范围（即更大的明暗差别）的一组技术。目的是正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度。
这项技术最早被应用于摄影，可以使暗场景变得更明亮更通透。后来超高清电视论坛（Ultra HD Forum）将HDR技术列为UHD电视标准需要支持的技术之一。2020年，苹果公司宣布了iPhone 12系列手机支持HDR视频，实现了HDR向移动手机端的扩展。目前，电视与移动端使用的HDR技术标准主要包括：Dolby Vision，HDR10，HDR10+以及HLG(Hybrid Log-Gamma)等。这些技术标准中定义了相比传统标准动态范围图像（SDR）更大的亮度范围，更广的色域，更大的比特深度，采用不同的伽马校正的转换函数，新的编解码方式。
    技术 篇    
总体讲，HDR视频的光亮效果可以更接近人眼对于物理世界的感受，色彩也能更贴近于人眼看到的实际生活场景。HRD是如何做到的呢？我们先一起看一下它的基本原理。
HDR 技术的基本原理
颜色是源自光的反射或者自身发出的光芒，那光真的有颜色吗？牛顿爵士在1671年写道：“准确地说，光是没有颜色的，除了能引起这种或那种颜色的特定能量和配置外，没有其它成分。”
我们看到的颜色是眼底的感光细胞对光源中所携带的信息感应而产生的颜色的感觉。如下图，看上去感觉上同为白色的不同光源分析得到的光谱实际差异很大。所以，颜色是客观的光在人眼的主观反应，其度量不是靠简单的颜色分类就能完成的。
图2 日光、白炽灯、荧光灯，同色不同谱
那人类是如何科学度量颜色的？下面我们从光度学和色度学两方面展开分析。
光度学
最开始，摄影/摄像是黑白的，因此没有色度，主要是靠量化强度和亮度来实现的。光度学就是对在可见光波段内，考虑到人眼的主观因素后的相应计量学科。光度学是1760年由朗伯建立的，且定义了光通量、发光强度、照度、亮度等主要光学光度学参量，并用数学阐明了它们之间的关系和光度学几个重要定律，如照度的叠加性定律、距离平方比定律、照度的余弦定律等，这些定律一直沿用，实践已证明是正确的。
最主要的指标是光亮度，概念是单位投影面积、单位立体角发出的光通量，单位为尼特（nit）。光亮度是一个叠加人眼感受的计量单位，单位为nit。可以表征视频内容的明暗程度。
色度学
后来随着技术的发展，摄影和摄像支持彩色的采集和呈现，因而引入了色度学来完善对颜色的科学度量。
最开始是基于三色理论， 20世纪20年代，学界发起了一系列颜色匹配实验，实现色度的量化。后来国际照明委员会（CIE）基于他们的实验给出了CIE的各种关于颜色的结论和标准。
直接的实验结果（CIE1931RGB）会存在负值，用起来不方便也不易于理解，因此要进行数学转换，从三维的 RGB 转换成了二维的RG，但是直接转换结果存在负值不方便读取。用假想的三个原色 XYZ 代替 RGB 系统的三原色做了坐标变换，形成了我们最常见的 CIE1931 x-y 色度图。
图3 CIE1931RGB 和 CIE1931 x-y马蹄图对比
这是理论上人类所能看到的色域的全集，再结合前面介绍的光亮度的度量指标，SDR和HDR都以此作为标准基础。
HDR 的核心特征
早期 SDR 标准的色域（BT.709）和亮度范围（100 nit）都相对较小。随着技术的进一步发展，SDR 标准已经不能满足当前展现更真实的效果的需求，HDR技术应运而生。HDR视频有三个核心特征：高动态范围、宽色域、高位深。
1. 高动态范围
与传统的 SDR 相比，可以显示更大的亮度范围。例如白天用在室内对着窗户拍照，就会发现拍摄清楚室内，窗户就会出现过曝；反之，拍摄清楚窗户的部分室内的部分就会显得非常昏暗。这种现象就是动态范围不足导致的。下图说明了人眼能够感受到的最亮和最暗的范围，以及 HDR 和 SDR 定义的亮度范围。
图4 HDR和SDR定义的亮度范围示意图（来源LiveVideoStack）
2. 宽色域
HDR 能够表示比现行的 SDR 视频系统更宽的色彩范围。SDR视频采用的是BT.709的色彩空间，只能涵盖CIE 1931色彩空间的35.9%，而采用BT.2020的HDR视频占比可以达到75.8%。这样在显示器上呈现的图像与实际物理世界更加贴近。
图5 HDR色彩容积空间和SDR的对比
3. 高位深
传统的SDR视频是用8 bit位深来表示，BT.2020 标准提高到了 10 bit /12 bit，从而使灰阶过渡更加平滑，可以提升图像的细节表现，这意味着图像具有更加丰富的颜色表现。
下面讲一下HDR实现应用的光电转换曲线。
HDR视频通常使用两种标准格式实现光电转换，如表1所示。分别为 HLG（BBC 基于 ARIBSTD-B67 标准），和 PQ 标准格式（Dolby 基于 SMPTE ST.2084 标准）。对比两种标准，HLG 格式允许输出亮度从 0.01 到 5000 尼特左右且具有兼容 SDR 的优势，PQ 格式允许输出亮度水平从 0.0001 尼特到 10,000 尼特。
表1 PQ和HLG标准参数对比
SDR、PQ 和 HLG 的光电转换曲线对比如图6中所示，伽马2.4是 SDR 光电转换曲线。相比于 SDR 的转换曲线，PQ 和 HLG 在低光照区域和高光区域都做了非线性扩展，具有更高的动态范围。多种标准为行业提供了不同场景的解决方案，但是为行业发展带来了不便。
图6  SDR，PQ和HLG光电转换曲线对比
HDR Vivid 技术背景
受国际环境影响，国家高度重视超高清产业的健康安全、可持续发展，出台了一系列政策和措施支持自主可控的超高清技术的落地应用。然而现阶段 HDR 技术产业落地的挑战较大，主要体现在三个方面：一是部分技术方案的专利费用高导致产业链成本居高不下，支持的设备未形成规模，生态呈现碎片化。二是 HDR 多种技术标准共存，标准之间的兼容性较差，不能覆盖主流终端的适配、认证及测试过程，导致终端呈现效果差异明显，用户难以获得一致的视觉体验。三是传统 HDR 制作流程复杂，应用 HDR 技术的超高清片源匮乏，高质量片源供给不足，超高清频道专区少、时长短，用户侧的超高清需求被抑制。基于以上背景，菁彩 HDR（HDR Vivid）技术标准应运而生。
2022年1月30日，国家广播电视总局发布《高动态范围电视系统显示适配元数据技术要求》行业标准（GY/T 358-2022），该标准的核心技术已实现在超高清视频内容制作、编码、接收、解码、显示等端到端的全产业链布局，以“HDR Vivid”自有品牌名称开展产业化推广。
对比业界封闭的 HDR 技术，HDR Vivid 技术标准是一个更加开放的、具备产业安全要求的技术标准和方案，更加适合超高清产业生态各方进行端到端的产业部署。
图7 HDR Vivid 产业部署示意图
HDR Vivid 技术标准优势
从终端的整个显示适配过程来看，首先需要输入视频源，生成动态元数据，然后进行色调映射和色度映射，以匹配不同屏幕的显示能力。因此，对于 HDR Vivid 来说，主要有三大核心的技术原理：一是动态元数据（Metadata），二是色调映射（Tone Mapping），三是饱和度调节（Saturation Adjustment）。相比于其他的 HDR 标准，HDR Vivid 有着以下三点明显优势。 
开放性与安全性：HDR Vivid 技术标准公开完整地定义了超高清视频呈现处理 HDR 的过程，从方法上保证对高质量视频的忠实还原。在现有 HDR 的基础上，通过增加动态元数据为显示终端提供更加准确的动态范围映射方式，从而最大限度还原 HDR 内容原有的艺术效果。同时，HDR Vivid从头端制作开始嵌入动态元数据，确保了终端的可实现性，以及处理效果的可控可预期。这种方式对比业界私有HDR技术，是一种更开放更普世的技术标准及开放方案。对产业各方来说，技术开放性以及安全性都更适于产业部署。
兼容性与可扩展性：基于HDR视频内容增加动态元数据，但不修改原有的HDR视频内容；支持BT.2100 PQ & HLG HDR输入，动态元数据可以借助后期工具人工调试或自动生成；可以采用各种当前和未来主流视频编码方式（H.265/H.266/AVS2/AVS3…）；HDR Vivid定义了HDR显示终端如何基于动态元数据进行Tone Mapping进行显示适配；对于解码类终端（无直接显示能力），HDR Vivid定义了如何进行格式转换，从而适配不同的显示设备，后向兼容存量设备。
行业领先的色彩表达能力：采用的曲线总共有4个分段区间，6个插值点，包括对应暗区的一次曲线和三次样条曲线，对应正常场景的基础曲线和对应亮区的三次样条曲线。相比 PQ 和 HLG，HDR Vivid在暗区和亮区有更精细的调整，能保留更丰富的细节信息。
图8 不同场景对应的曲线段
我们的技术实践
针对自身业务需求，我们端到端实践了 HDR Vivid 技术应用落地，先后在2021年欧洲杯、2022年冬奥会上、2022卡塔尔世界杯，提供了 HDR Vivid 点直播内容服务。
图9 端到端流实现方案
我们从以下几个方面挖掘 HDR Vivid 技术特色，提升内容色彩真实感，为用户带来更为真实细腻的赛事观看体验。
1. 超高动态对比度，让亮部与暗部的丰富细节同步呈现
支持帧级动态元数据调整，支持0.05nits到10000nits的高动态范围，映射曲线引入比 PQ 曲线更多的分段区间及更复杂的三次样条曲线，在低于100nit 的暗区和高于2000nit 的亮区比 PQ 有更精细的亮度映射，从而获取更精细的纹理细节。
例如在一般的足球比赛直播中，往往比较容易出现高光区域细节丢失的情况，也称为过曝现象。我们采用动态元数据，基于对足球场景的分析，构建映射曲线，高亮部分得以有层次地保留；同时将终端设备的能力纳入考量，根据显示屏亮度进行渲染，使得足球场景得到最大程度的视觉还原。
图10 左图为HDR效果表现出更多亮区细节
同时兼顾暗部细节，我们通过 pheonix 分段映射曲线的设计，针对较暗区域进行保护，不压缩其亮度(采用直线映射)，保留了原有的细节。
图11 左图为HDR效果保留更多暗区细节
2. 超色彩，让颜色更精准、更丰富、更真实
我们结合咪咕体育业务，针对足球场景进行动态处理，对特写镜头、慢放镜头等使用基于 ROI 肤色优化算法，展现更为真实的观感。针对大量足球场景和球员肤色进行色彩调优，使得运动员的每一个细节都被捕捉，球员肤色真实还原呈现在观众眼前。
图12 左图为HDR效果肤色更真实自然
逐帧矫正，结合时域信息，展现更多细节，且不产生闪烁。比赛中，当足球场景阴阳面，亮度范围广，主要亮度灰阶主要集中在阴阳两处，形似“驼峰”，亮度范围的压缩，往往会发生色相偏移失真。咪咕视频的菁彩 HDR 方案在利用映射曲线进行亮度映射后，会针对色相进行校正与补偿，使其更加接近片源的原始风格。
图13 左图为HDR效果球场色彩更自然清晰
3. 手机和专业监视器播放效果，亮度及色彩一致
终端硬件条件的多样性，导致生产制作端视频源在终端设备上显示不一致。咪咕首先需要针对输入足球场景视频源进行分析，生成动态元数据。终端解码渲染以视频动态元数据为基础，依据终端设备最大显示能力，对动态元数据进行调整，依照菁彩 HDR 标准规定的适配流程产生出不同的映射曲线，这种方式更好地保证了在不同设备上效果的一致性，最大化地还原了创作者的意图。
图14 多终端的菁彩HDR效果显示效果一致性
    产业篇    
HDR 技术不是一个单点的技术，而是一个端到端的生态系统。从前端摄像机的拍摄开始，包括后期制作、编解码，以及到呈现等环节都需要支持并应用 HDR 对应的标准。
在整个生态系统的每一个环节，都有很多核心的技术供应商和厂家进行支持。由于各个标准之间技术不统一，各家之间的竞争也是异常激烈，形成了开放与商业授权，效果与兼容性之间的矛盾持续存在的现状。主要标准的对比见下表，其中 HDR Vivid 在开放性与安全性，兼容性与可扩展性，行业领先的色彩表达能力等方面有比较明显的优势。
表2 当前主流HDR标准对比
当前HDR Vivid产业生态趋于成熟，产业链各环节均有产品支持。
芯片领域，海思、联发科、晶晨、国科微、联咏、瑞芯微、高通等国际主流芯片厂商都已经发布了支持HDR Vivid技术标准的芯片产品。
终端领域，华为、康佳、夏普、荣耀等电视终端厂家发布了多款支持HDR Vivid的电视、手机和平板。中国移动、中国电信也已将HDR Vivid纳入到机顶盒必选技术标准。
内容制作：国内领先的编辑工具厂商索贝、全球调色工具市场份额第一的Blackmagic Design达芬奇和高端调色工具厂商FilmLight都发布了支持HDR Vivid原生调色的工具版本。
视频平台，内容规模超过15000小时，并在持续增长。咪咕、腾讯、爱奇艺、华为、优酷等视听内容服务平台，自2021年起，逐步推出 HDR Vivid 点直播内容服务。我们在内容方面也做了重点部署和诸多尝试。2021年欧洲杯，我们首次运用HDR Vivid技术于国际大型体育赛事直播，全面提升画面整体的色彩层次和画质细节，动态画面更流畅、更清晰。HDR Vivid（菁彩HDR）标准制定和落地过程中，中国移动咪咕公司与央视、华为、当虹等产业伙伴深度协作，共同打造了技术标准及直播端到端应用方案，率先在21年的欧洲杯业内首次应用，2022北京冬奥会首次实现软渲染方案、2022世界杯中首次大规模商用，为观众带来“5G+全体育”全场景沉浸式观赛体验。
    展望篇    
随着5G网络建设的逐步完善以及终端显示能力的进一步迭代与升级，“真实”与“沉浸”兼具的超高清视频体验时代已经到来。当前 HDR Vivid 产业面临着挑战和机遇。
首先，HDR Vivid 采集制作的效率亟待提升。仍需大力提升生产效率，降低生产门槛，助力 HDR Vivid 内容的高质量生产。建议非编软件可以方便快捷地生成 HDR Vivid 动态元数据和母版文件。例如只需在现有制作环境中增加一个流程节点，即可在HDR调色后生成母版文件，同时能进行微调，可大幅减少 HDR Vivid 规模制作的繁琐步骤，进一步促进产业发展。
其次，支持 HDR Vivid 显示能力的终端逐步规模化。内容服务平台将继续探索 HDR vivid 落地场景，大小屏、云游戏均有布局与探索。新的场景促进 HDR Vivid 技术能力的产业落地，促进HDR Vivid内容多样化供给。
此外，HDR Vivid 技术优势有待更充分发挥。在多场景下，HDR Vivid 未来将直面用户的检验，如何进一步挖掘 HDR Vivid 技术潜力，真正实现世界一流的 HDR 显示渲染效果，需要整个产业的共同努力。
从产业链布局看，视频消费几乎与信息产业的所有环节都有关联和渗透，是包括互联网在内的整体信息产业价值的最重要来源。UWA 联盟的建立以及 HDR Vivid 标准的制定，准确把握了时代脉搏，在视频行业向超高清升级的关键时期，精准解决了用户观看更贴近真实自然画面的需求，由此通过吸引和带动用户在高品质内容上的消费，也为行业相关企业的发展带来了新的契机与增长点。
作者：潘兴浩、马晓、毕蕾
【参考文献】
[1] http://graphics.stanford.edu/courses/cs178/applets/locus.html
[2] https://www.hisilicon.com/cn/techtalk/hdr-vivid
[3] HDR Vivid高动态视频技术白皮书
[4] High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays，ST 2084:2014
[5] Ultra HD Forum. Ultra HD Forum Guidelines.
[6] 齐欣编著．摄影用光经典法则：上海人民美术出版社
[7] Multi-exposure HDR capture
https://en.wikipedia.org/wiki/Multi-exposure_HDR_capture

[8] HDR技术趋势浅析 https://mp.weixin.qq.com/s/mIU9IdoihZur40CN-qZqPw

[9] 向高标准影像呈现演进！HDR Vivid开启超高清视听新体验：影视制作

卡塔尔世界杯科技系列往期回顾：
智能字幕与数智人手语
智能搜索助精彩赛事精准直达
继续阅读
阅读原文
关键词
标准
超高清
技术
HDR视频
内容