视频编码中的自适应拉格朗日乘数

来源
：SPIE 2021

主讲
：Daniel J. Ringis

翻译
：钟宏成

速率控制压缩中，特定的拉格朗日乘数可能会在一定的比特率范围内提高 BD 速率，但不是在整个范围内。
在整个范围内使用不同的参数将提高整体增益
。本文提出了一个框架，用于在一系列比特率中以每个操作点为基础选择最佳拉格朗日乘数。

摘要
动机
实现
总结

摘要

在过去的十年中，在 per-clip 而不是 per-genre 优化转码参数方面取得了重大进展。在我们最近的工作中，我们展示了速率控制压缩中拉格朗日乘数的每个剪辑优化，它在使用 HEVC 的视频语料库中产生了大约 2% 的 BD-Rate 改进。但是，在流媒体应用程序中，重点是在特定比特率下优化速率/失真权衡，而不是在一系列性能范围内进行平均。我们在之前的工作中观察到，特定的乘数可能会在一定的比特率范围内提高 BD 速率，但不是在整个范围内。在整个范围内使用不同的参数将提高整体增益。因此，我们在此提出了一个框架，用于在一系列比特率中以每个操作点为基础选择最佳拉格朗日乘数。实际上，我们正在尝试为单个剪辑找到比特率和失真方面的次优增益。在展示的实验中，我们采用直接优化技术来估计大约 2,000 个视频剪辑的拉格朗日参数路径。这些剪辑主要来自 YouTube-UGC 数据集。我们针对比特率节省和失真指标（PSNR、SSIM）进行了优化。

动机

在速率 R 和失真 D 之间取得平衡是视频编码中的一个关键挑战。一般使用 RDO 实现，失真 D 和速率 R 通过拉格朗日乘数的作用相结合。拉格朗日乘数控制对速率最小化或质量改进的强调。

在作者之前的研究中，通过使用常量调整：

其中是视频编解码器中估计的默认拉格朗日乘数，是更新后的拉格朗日。下图展示了对于一个序列，调整 k 对编码效率的影响，可以观察到对于该序列，可以带来一些编码效率提升。

在之前的研究中拉格朗日乘数是在非常小的视频片段语料库上建立的，对于给定的片段不是最优的，因此，我们需要 per-clip 的方法。使用 Youtube UGC 数据集，包含 2000 个 1080p, 720p 的视频片段。

我们认识到这在 RD 曲线的整个操作范围内可能是最佳的，但对于给定的操作点可能不是最佳的，因此，我们需要 per-clip, per-bitrate 的方法。对每个比特率进行测试需要的测试量是非常大的，因此我们需要预测方法。

在 (LOW, MED, HIGH) 三个操作点分别进行直接优化
增加帕累托最优解的候选池
相比我们之前的系统，需要三倍的编码数

实现

在 x265 编码器上，恒定质量 CRF 与恒定比特率 CBR 两个测试条件进行了实验，CRF 取值、码率如下表：

CRF	CBR
LOW	22:2:32	256kbps, 512kbps, 1Mbps, 2Mbps, 4Mbps
MED	27:2:37	1Mbps, 2Mbps, 4Mbps, 6Mbps, 8Mbps
HIGH	32:2:42	4Mbps, 6Mbps, 8Mbps, 10Mbps, 12Mbps

下面的图表中，本文提出的三段码率帕累托最优解标记为 Pareto 方法，之前的全码率段标记为 Direct 方法。

Point	Metric	Method	≥0%	>1%	Gain
CBR	PSNR	Direct	96%	68%	1.61%
CBR	PSNR	Pareto	96%	79%	2.67%
CRF	PSNR	Direct	96%	74%	2.24%
CRF	PSNR	Pareto	96%	79%	3.03%
CBR	SSIM	Direct	98%	49%	1.56%
CBR	SSIM	Pareto	98%	74%	3.02%
CRF	SSIM	Direct	98%	59%	1.05%
CRF	SSIM	Pareto	98%	75%	2.34%

总结

系统性能提升相比之前有超过 1% 的 BD-Rate；
需要三倍的编码；
需要进一步研究比特节省与付出环境和计算成本的 trade-off 的 “停止点”。

附上演讲视频：

继续阅读

阅读原文