HDR 不必太难

来源
：Demuxed 2021

主讲人
：Steve Robertson

内容整理
：王秋文

这篇演讲介绍并分析了对于视频创作者来说 HDR 可能出现的问题，结合人眼视觉系统以及显示器的内部策略提出了相应的解决措施。

引言
人眼视觉系统的亮度感知
制作 HDR 视频的建议

引言

在支持 HDR 的 PS5 和电视机上玩 3A 电子游戏时，许多人会将 HDR 关闭，因为其呈现的效果较差。即使尝试了包括交换电缆在内的所有能找到的设置，使用者也不能使得游戏稳定地具有优质视觉效果。在游戏过程中可能有一部分看起来不错，但是在游戏的过程中，场景可能会改变，从而导致视觉效果变得较差。当与创作者讨论 HDR 视频的制作后可以知道，创作者们发现在同一台设备上 HDR 的视觉效果将比 SDR 更差，而创作者们并不知道如何进行修复。

人眼视觉系统的亮度感知

有些人可能会说：“HDR 太强大了。为了使其可用于人类，我们必须让他不那么强大。”这些说法的根据是有图表显示 SDR 的亮度范围较小，HDR 的亮度范围较大。在理想条件下，人眼最少可以看到十个光子的爆发带来的光，其与充足阳光照射的情况相比大概是一万亿比一的亮度对比，范围相对较大。这一说法是正确的，但是是具有误导性的，这一说法认为 HDR 已经足够强大了，但其实人眼不会立即看到全部场景，而人眼的瞬时亮度范围大约是 1000:1，与现代 SDR 显示的范围一致。自然场景有着明显超过 1000:1 的亮度对比率，如果人眼不能瞬时看到所有的对比那么人眼如何记录所有的场景表现呢？同样的，如何在没有明显剪切痕迹的情况下在 SDR 屏幕上看到这一场景呢？

实际上，这一问题的答案是惊人的：人眼并没有直接看到场景，而是产生了幻觉。正如图 1 所示的经典棋盘格图案所示，在看到这张图时会认为标签 A 的格子与标签 B 的格子颜色不同。

但如图 2 所示将两块格子连接起来可以发现，这两块格子的颜色实际上是相同的。研究表明，这一人眼错觉告诉我们了许多人眼成像系统的事情。

首先，我们的大脑不是一个测量仪器，它并不能告诉我们什么是真实的，或什么是准确的，而告诉我们我们需要依靠什么生存。预测处理模型是一个重要的神经组织模型，它表明我们的整个体验基本上都依靠我们的幻觉。我们所看到的其实是我们认为我们看到的。这只是一个预测。我们的感官输入指导着这一预测的生成：它们不会影响我们直接看到的内容，而是通过预测模型来实现。

其次，我们的大脑不会尝试模拟出绝对亮度值，而是对场景的对象及其属性进行建模。所建模出的对象的反射率值的动态范围将远低于自然界中真实的绝对亮度值。如果你看到了一个你认为是黑色的物体，那么这一对象的反射率值通常在 5% 左右。

最后，大脑通常会对光影的呈现效果留下较强的印象。通过视神经所传递的信息，大脑介绍局部范围的对比信息并将其在多个尺度上进行整合，从而重建出整体场景。大脑的光影呈现方式的理解对于重建中间范围并为场景中的对象赋相应的属性值至关重要，从而在大尺度上出现的一些如图 3 所示的异常则可能会被忽略。

需要指出的是，上述的观点仅仅是成像模型的一部分，而对人眼成像系统的探究仍是不完整的。从微观的水平上来说，不同的模型间会进行可证伪的预测，而目前没有一个模型是可以完美解释所有事情的。但已有的这些结论已经可以为视频工程师作出一些有用的结论。例如图 4 中演讲者在 RAW 中拍摄的一张照片。在这张照片中我们可以清晰的看到树木和远处的山峰。但实际上在照片中，树木的亮度很低。在足够大的尺度上对原图进行一些操作则可以对场景进行重平衡，进而展示出更好的视觉效果。在观看时，大脑不会注意到如图 5 所示的图中上下区域间明显的失真，因为这一失真没有映射为一种物理解释。大脑更相信具有物理解释的事物，甚至在粗糙地编辑出类似真实光的效果时大脑也可以接受所给予的信息。

HDR 可以生成的动态范围比 SDR 更大，因此工程师可以选择用更少的动态范围压缩来传达相同的场景。但实际使用时，可能会出现一些问题。在屏幕上，观众的眼睛会立即被吸引到亮点上去。在现实场景经验中可以发现有一种发射式的显示方法可以让观众立即以一种他们在室外永远不会做的方式去盯着太阳。而这在 HDR 中则会产生问题。可能是因为所有的东西都在同一个焦平面上，也可能是因为这是一个自然界中所没有的全辐射场景，如果视频制作者想要尝试这一方法来讲述故事，那么在整个场景中会出现随机曲面将观众的视线从所期望的对象移开，这将非常具有破坏性。在 HDR 中可以呈现的另一件方式是从一个明亮的镜头过渡到一个非常黑暗的镜头，这种方式更加真实，但是更加令人难受。在这种情形下，眼睛需要几秒钟的时间来适应较低的光线，而这种做法仅仅是为了快速扩张瞳孔。此外，如果观看者处于更加明亮的环境中，则图像中的明暗变化则会被显示器的反射率冲掉。更糟糕的情况是从黑暗的场景变为明亮的场景，因为这种形式的过度会使得眼睛在生理上变得痛苦。因此 BBC 发布的指南建议创作者应该使用比 HDR 支持的平均场景亮度范围窄的多的范围，这也与用户的使用反馈相一致。

以上所讨论的内容都说的是场景的平均亮度。而 HDR 的全部亮度范围可以在创作者的使用安排下，在不伤害观众的前提下，产生更好的故事讲述效果。以《Big Buck Bunny》为例，演讲者将相机对准专业的 XDR 显示器，并开启相机的自动曝光模式以模拟人眼视觉系统。此时如果提高显示器的整体亮度，可以发现相机得到的图像几乎没有变化。而使用 SDR 显示器作比较可以发现黑暗场景中的阴影呈粉碎状，而明亮场景中的高光区域则非常耀眼。

图8 提高视频亮度后相机所拍摄的 HDR 显示出的画面，与提高亮度前几乎没有变化

制作 HDR 视频的建议

在实际应用中，使用者需要决定如何将色彩环境中理论上的庞大的亮度范围压缩到所需要的设备上。在 SDR 中，这一决定通过优先级进行解决。SDR 亮度范围的狭窄限制将引导调色师以及专业和业余爱好者将他们所需要展示的场景放置在最重要的部分。如果用户是一名正在制作超高预算电影的专业调色师，那么用户或者可以通过与其他调色师合作，通过专业的相关会议帮助和引导制作时的风格；或者用户也可以通过花费较多的时间观看 HDR 电影并关注颜色分级的工作方式。最后，可以在设备上制定相应的优先级顺序。如果预算充足的话，可以购买一个高端的颜色分级设备，包括对明确提供的动态元数据的支持。这有助于用户的设备准确了解场景背后的意图，并进行对应的映射。这一过程可以产生优异的效果，但整个过程耗时较长且价格较为昂贵。

在具体的制作过程中，制作者会将不同的视频片段导入编辑软件，并对每个片段进行调整使得视频整体效果具有一致性。在编辑的过程中，创作者可能甚至都没有考虑调整两段视频的平均光照强度，获得的效果就已经很好了。这是因为在颜色分级环境中，如果 HDR 硬件足够好，那么对平均光照强度进行任意选择都会使得到的结果看上去很好。总的来说，如果创作者所编辑的视频不是昂贵的巨制内容，那么平均光照强度可以进行随意的变化，因为创作环境中不会对光照强度进行内在的限制。由于观众并不喜欢光照强度短时间内大幅度变化，因此创作者也不需要在这一属性上进行太多更改。因此，在理想情况下，只要创作者所编辑的视频内容可以适用于颜色分级显示这一功能，那么不同的光照强度选择得到的效果都是相似的。

但在非理想情况下，例如在没有动态元数据的 HDR 中，显示器需要猜测在庞大的 HDR 直方图中最重要的是哪个部分，并调整渲染策略以提高该部分区域的优先级。不同的显示器以不同的方式实现这一过程，一些显示器不考虑具体的显示内容，应用一些固定的简单规则进行实现；而另一些显示器尝试使用一些内容自适应的策略，其根据显示视频的最后几秒的直方图来猜测其中最重要的部分，并调整本地色调映射来区分优先级，这一方法通常被称为动态对比。这一方法有助于在不更改设置的情况下，在同一台显示器上播放两个平均光照水平存在巨大差异的节目。但同时，如果创作者自身在其所播放视频的不同片段中，出于故事叙述的需要对光线水平进行了一些微小的改动，那么使用这一策略则与双作者的意图相悖，因为显示器并不知道不同视频片段中的亮度差异这一结果是创作者有意的还是无意的。动态对比这一策略的具体实现形式有很多种，并没有一种统一的标准。

在进行 HDR 分级时，应该实时向用户展示 SDR 下转换，并在所有的应用中使用相同的查找表进行 SDR 下转换。这里的查找表指的是如图 12 所示的用于描述静态方式重映射图像内容的文件，其可以简单地完成 SDR 与 HDR 间的转换。在 HDR 分级时向用户实时展示 SDR 下转换可以对 HDR 的参数进行约束。因为在应用了查找表后，HDR 程序的平均光照水平落在给定范围内时，显示的结果才会看起来不错。这一限制不会影响创作者为了视频故事内容叙述设定的亮度变化。在这一方法下，显示器将不必使用动态对比策略来提升用户的观看感受，仅仅应用简单的静态规则即可。这样，创作者就可以通过亮度差异提升视频的故事性，同时不用担心亮度差异的大幅度变化会影响观众的观看体验。在应用查找表的过程中，使用默认的查找表或自定义的查找表都可以将其作为发送到嵌入在 HDR 视频文件里的流平台中。接着，就可以确切地看到 SDR 下转换的结果。多年来，这些默认设置已经蔓延到例如拍摄 HDR 的手机摄像头中的自动曝光和视频游戏中使用的着色器等 HDR 生态中的不同部分。

附上演讲视频：

继续阅读

阅读原文