本系列主要介绍视频编解码芯片的设计，以HEVC视频编码标准为基础，简要介绍编解码芯片的整体硬件架构设计以及各核心模块的算法优化与硬件流水线设计。

本文主要介绍全参考质量评估方法VSI和GDRW，并在GDRW的基础上进行算法优化，提出了基于显著性窗口的高注意度区域感知图像指标GSW，最后介绍了GSW模型的软件实现过程和质量预测性能测试结果。

概述

图像质量评估依据给出分数的主体不同可以分为主观评估（Subjective Image Quality Assessment，S-IQA）和客观评估（ObjectiveImage Quality Assessment，O-IQA），如下图所示。客观质量评估又可根据源图像参考信息比例分为：全参考（Full Reference Image Quality Assessment, FR-IQA）、半参考（ReducedReference Image Quality Assessment, RR-IQA）和无参考（No ReferenceImage Quality Assessment, NR-IQA）。

本公众号的推送文章《图像视频质量评估(IQA/VQA)》详细介绍了主观质量评估和客观质量评估的基础内容和典型评估模型，在此不作赘述。本文主要介绍对GSW模型有启发的其他主观质量模型。

01

视觉显著性指标VSI

视觉显著性指数（Visual Saliency-Induced Index, VSI）[1]是一种利用图像显著性特征图失真情况来对图像质量进行评估的全参考评价标准。研究发现质量失真会引起视觉显著性（Visual Saliency，VS）的改变，并且这种改变与失真有很强的相关性，对大部分的失真类型，显著性图的失真MSE值越大相应的主观评分也越低，因此在[1]中提出了使用VS的MSE失真值来反映图像失真情况的标准。但是该方法在某些失真类型下效果不明显，并且如果图像本身具有较高的对比度，那么该方法便会失效。因此采用了额外的特征作为补充来增强VSI的鲁棒性，一种普遍采用的方式是结合梯度幅值（Gradient Modulus, GM）和色度特征。利用Scharr operator计算图片的梯度：

通过比较GM特征图的失真可以很好地反映出图像的对比度失真。

为了度量色度失真，可以将RGB色域的图片转换为LMN色域后提取需要的色度信息分量M和N通道进行比较：

对于两张图片f₁和f₂，其VSI可通过如下方式计算得到：

该项为显著性图特征。

该项为梯度幅值图特征。

该项为色度图特征。其中C₁、C₂和C₃是为避免出现分母为零情况的一个正常数。

最终VSI计算结果为：

其中的α和β参数用于调整每个因子的权重，可以根据实际需要和图片类型进行调节。

通过上述过程获取了每个像素的VSI计算结果之后，通过以下公式得到最终的整幅图像的VSI计算结果：

其中Ω是整个像素空间，VS_m(x)=max(VS₁(x),VS₂(x))作为S(x)的权重。计算过程如下图所示（脸部为马赛克处理）。

02

基于全局和双随机窗口相似度的感知图像指标GDRW

不同于平面图像，全景视频在投影后会引入大量的插值并产生不可避免的图像畸变，传统的SSIM并不能给出准确的图像质量评价结果。因此，研究者们考虑结合人眼的观看习惯和注意力机制来提出一种新型图像质量评价标准。HVS是一个十分复杂的光学系统，同时还受到神经系统的调节，因此在讨论主观感受的时候需要涉及多方面的因素。人眼对亮度信息的敏感度远高于色彩信息信号的敏感度，这一点在SSIM的计算公式中就已经被考虑到了。

而从图片纹理繁复程度来说，人眼具有一种边缘增强的侧抑制效应，在感受野内实际上能够分辨纹理的区域只占一小块，对于这一点SSIM没有做出很好的应对。SSIM是基于整张图片的而不是像实际情况下人眼一样只对感兴趣区域的图像分配更多的精力。

有学者提出了一种叫做“基于全局和双随机窗口相似度的感知图像指标GDRW[2]”。其主要思路是使用随机窗口将图像划分为多个随机块，然后逐块完成评估。在该评价方式的计算过程中使用了图像梯度GM作为指标，它可以有效捕获HVS高敏感的图像局部结构。GDRW的可靠性是建立在以下事实基础之上的：

（1） HVS中视网膜内部的感受也是随机散布的；

（2）感受野的位置大致服从离散的均匀分布；

（3）图像失真像素和区域的位置和比例也大致服从离散均匀分布。

在考虑了均匀分布、高斯分布和离散均匀分布之后，GDRW选择了离散均匀分布作为窗口中心位置的选择依据，它是对称概率分布，且有助于放置窗口，而不会偏向特定的窗口大小或图像的空间区域。实验结果证明GDRW给出的分数与主观评分的一致性优于SSIM和FSIM等目前被广泛应用的图像评价指标。

GSW算法设计

受到GDRW的启发，我们认为让客观评价指标尽可能地去贴近HVS的功能实现方式是十分有必要的。在面对一幅图片时，人眼的关注重心会不自觉地转移到图像中让人感兴趣的区域，而这部分区域的观感将直接影响这个观看者对整幅图像的主观打分。因此，我们提出了基于显著性窗口的高注意度区域感知图像指标GSW。该指标由全局分数和显著性分数两个部分组成，其具体的计算流程如下所示。

01

显著性窗口确定策略

显著性图（Saliency Map）[3][4]是计算机视觉中的一种图像分区模式，目的是将图像的信息转化为更容易被计算机理解的形式。比如在大量相同颜色中出现的不同颜色的像素，或是朝向不同的形状都会特别吸引观众，这些都是对HVS产生显著刺激的元素，显著性图将发现它们并以显著的方式显示。

一种常用的显著性检测方法是基于全局对比度的LC算法[5]。其计算公式如下：

该方法利用直方图对像素按照特征值归类（归一化到[0,255]）并进行统计，为特征值的出现频率，利用这一点可以将计算公式简化为：

其中d(p,n)为特征值p和n之间的欧氏距离。由于任何两个像素的特征值都在[0,255]范围内，所以可以提前计算好距离矩阵D，这样就可以通过查表来得到像素特征距离d(n₁,n₂)，因此公式可以进一步优化为：

在Matlab中能够完整地实现这个显著性图提取过程：1.计算图像的色彩直方图得到每一个灰度级对应的像素数目；2.计算每一个特征值p的显著值；3.为每一个像素根据灰度级分配显著值得到显著图；4.对显著图进行归一化得到最终的显著图。

具体操作流程和得到的显著性窗口图如上图所示。

在得到了显著图之后，需要设计相应的显著性窗口划定策略。首先将得到的显著性图分割为12x12的小块，分别计算每个小块内的像素平均亮度，取最显著的那个块（平均亮度最高的块）作为显著性窗口的起始块。然后以其为出发点开始向上下左右扩张显著性窗口的边界。以向左扩张边界为例，首先判断当前块的左相邻块的平均亮度是否达到当前块的70%，若是则将左相邻块纳入显著性窗内；若不满足该条件，则判断左相邻块内是否存在与当前块连通的大面积高亮区域，若有，则也将左相邻块纳入显著性窗内。不断进行上述的操作直到左边界不再扩展为止，其他三个方向也做相同的操作。

在确定了上下左右四个方向的显著性窗边界之后，还要进行一步判断，那就是考察该显著性窗口的长/宽是否不小于整张图片长/宽的1/3，若小于，则认为显著性窗口仍需要扩展。以左右方向为例，具体的操作方式是比较当前显著性窗口左右边界上的两个相邻块的平均亮度，将更亮的那个块纳入显著性窗内；若一边已到达图片边界，则直接选择朝另一边扩展边界。

02

全局分数

全局分数又由原尺寸全局分数和下采样全局分数两部分组成。其中原尺寸全局分数G_O被定义为两张图片在初始尺寸下计算FSIM的结果：

下采样全局分数G_D定义为对参考图片和有损图片都进行1/4下采样后，计算两者之间的梯度幅值相似性：

其中G_RD为参考图片下采样后的梯度幅值，G_DD为有损图片下采样后的梯度幅值，C_D是用来避免出现分母为零的一个参数。

于是全局分数被定义为如下的结果：

全局分数给出了基于色彩连贯性、结构相似度和梯度一致性的图片质量得分。

03

显著性分数

通过显著性窗口我们得知，窗口中的区域是人眼感兴趣的高敏感度区域，而窗口外的区域是相对不怎么重要的背景区域。提出通过以下的策略来计算显著性分数：

首先在显著性图上计算显著性窗口内的平均亮度VS_W和显著性窗口外的平均亮度VS_BG；接着计算参考图片和有损图片显著性窗口内区域的GSM[6]值，记为S_W；然后在参考图片和有损图片上的背景区域进行5x5高斯模糊，计算得到的两张图片的GSM值，记为S_Wb。我们利用两个区域内的平均亮度作为权重，得到以下的得分计算公式：

为了增强得分的鲁棒性，再引入背景分数S_B这一项，它被定义为用5x5高斯模糊对参考图和有损图片显著性窗口内区域进行处理后在全图尺寸下计算的两者之间的SSIM值。结合这两部分，我们得到显著性分数的计算公式如下：

显著性分数的作用是通过模拟人眼的观看习惯和喜好来使得客观评价分数与主观感受相接近。

04

分数融合指标

结合全局分数和显著性分数，GSW的最终得分公式被定义为：

上述公式中出现的系数C_D、α、β具体取值通过实验确定。实验设计和过程如下。从TID2013[7]中随机选择一个子数据集，该子数据集包含10个不同的参考图像和相关的1200张有损图像。为了通过实验调整相关参数，使用了变量控制方法，调整标准是选择能够获得更高SROCC得分的参数值方向；在该子集上获得了一组初步的参数之后，再在其他三个数据集TID2008[8]，CSIQ[9]和LIVE[10]上验证这组参数对于提升主观一致性是否有帮助，以确认与现有方法相比是否有改进。

经过上述实验，最终得到了一组表现最佳的参数。于是GSW中的参数确定为：C_D=1.5，α=0.40，β=-0.67，γ=0.30。在本文的后续内容中都将使用这组参数。

软件实现与测试

在本节中，给出了每个标准数据集上的图片得分与主观评分之间的SROCC，KROCC，PLCC和RMSE值，以此来评价各种客观标准的预测性能，这里加入了信息保真度准则IFC[11]。

实验结果显示在下表中。对于每个性能指标/每个数据库，均以粗体突出显示了结果位于最佳前三的评价标准。

从实验结果中我们可以发现VIF[12]在LIVE上可以很好地工作，而在TID2008和TID2013上却表现不佳；而VSI和GDRW在TID2008和TID2013上的得分很高，但是它们都无法在LIVE上保持优势。相比之下，显而易见的GSW的表现非常稳定，在所有的一致性标准下均排名前三，并且在所有基准数据库（尤其是在LIVE）上始终表现良好，这说明我们的IQA指标确实可以达到最佳结果。

考察各个IQA的平均表现，我们给出了四个数据集上每个IQA指标的加权平均SROCC，KROCC和PLCC结果。分配给每个数据集的权重由该数据集中包含的失真图像的数量决定，这样可以更全面，更准确地评估IQA指数的整体表现。结果如下表所示，在所有数据库中，GSW提供的加权平均指标均优于其他方法，这证明我们的IQA指标可以实现最佳的预测准确性和一致性。

最后，我们评估比较了各个IQA模型的运行效率。实验是在配备Intel Core i7-7700 CPU @3.60GHz，双GTX1080Ti，64GBRAM和Samsung850 EVO 1TBSSD的计算机上进行的，测试的软件平台是Matlab R2017a。在下表中给出了每个IQA的运行时间开销（该实验基于TID2013数据集中随机选取的1500张512x384彩色图像计算的平均耗时）。结果表明，GSW的效率处于第一梯队，比大多数新型IQA指标运行得更快，说明它能够兼顾性能和效率。

参考文献：

[1] ZHANG L,SHEN Y, LI H.VSI: a visual saliency-induced index for perceptual image qualityassessment[J]. IEEE transactions on image processing, 2014, 23(10): 4270 - 4281.

[2] SHI Z, CHENK, PANG K, et al.A perceptual image quality index based on global anddouble-random window similarity[J].Digital signal processing, 2017(60):277-286.

[3]ToetA.Computationalversus psychophysical bottom-up image saliency: a comparative evaluation study[J].IEEE transactions on pattern analysis and machine intelligence, 2011, 33(11):2131-2146.

[4] BORJI A,ITTI L. State-of-the-art in visual attention modeling[J]. IEEE transactions onpattern analysis and machine intelligence, 2013, 35(1):185-207.

[5] BORJI A,SIHITE D N, ITTIL.Quantitativeanalysis of human-model agreement in visualsaliency modeling: a comparative study[J].IEEEtransactions on image processing, 2013, 22(1): 55-69.

[6] LIU A, LINW, NARWARIA M.Image quality assessment based on gradient similarity[J].IEEE transactionson image processing, 2011, 21(4):1500-1512.

[7] PONOMARENKON, IEREMEIEV O, LUKINV,etal.Colorimage database TID2013: peculiarities andpreliminary results[C].European workshop on visual information processing(EUVIP), Paris, 2013.

[8] PONOMARENKON, LUKIN V, ZELENSKY A, et al. TID2008-a database for evaluation offull-reference visual quality assessment metrics[J]. Advances of modernradioelectronics, 2009, 10(4):30-45.

[9] LARSON E C,CHANDLER D M.Most apparent distortion: full-reference image quality assessmentand the role of strategy[J].Journal of electronic imaging, 2010, 19(1): 011006.

[10] SHEIKH H R, SABIR M F, BOVIK A C. Astatistical evaluation of recent full reference image quality assessmentalgorithms[J].IEEEtransactions on image processing, 2006, 15(11):3440-3451.

[11] SHEIKH H R, BOVIK A C, DE VECIANA G.Aninformation fidelity criterion for image quality assessment using natural scenestatistics[J]. IEEE transactions on image processing, 2005, 14(12):2117-2128.

[12] SHEIKH H R,BOVIK A C.Image information and visual quality[J].IEEE transactions on imageprocessing, 2006, 15(2):430-444.