本次介绍Rolling Guidance Filter (RGF) 相关内容,该论文发表在2014年ECCV。RGF具有对图像边缘的尺度进行选择的能力,可用于纹理层提取、细节增强、图像风格化等应用场景中。
内容介绍分为以下几个部分:背景、算法原理、算法应用。
一幅图像中的信息可按照尺度大小分类为小尺度结构和大尺度结构。小尺度结构通常为细节信息,如纹理、小物体和噪声。大尺度的信息则通常包含图像中的物体边界轮廓、缓慢变化的颜色过渡区域和平坦区域。
当我们希望分离图像中的大尺度结构和小尺度结构信息时,如果使用传统的edge-aware滤波器,如BF、GF,则会将图像中的高对比度的细节都保留下来,这是由于edge-aware滤波器只能对边缘进行选择,无法选择尺度。
因此本文提出一种scale-aware的滤波器,RGF。
从上面三幅图中可以看出scale-aware与edge-aware filter的区别:BF滤波的图像中无论物体大小,凡是边缘的地方都被检测到并保留下来;而RGF滤波首先对物体的尺度进行了筛选,小尺度的边缘被平滑掉,仅仅保留了大尺度物体的边缘。
在介绍RGF之前,我们首先给图像中物体结构的尺度做一个定义:我们使用标准差σs的高斯滤波器和图像卷积,改变标准差,直到对应的边缘结构刚好消失这时所对应的σs即为该结构的尺度大小,
例如在上图中,左边和右边的红色圈出的内容分别属于小尺度边缘和大尺度边缘,在经过合适强度的高斯滤波后,小尺度的边缘被完全抹平,大尺度的边缘被轻微平滑但依然存在。
RGF的滤波过程分为两步:第一步中按照刚才对图像结构的尺度的定义,我们使用合适强度的高斯滤波器将小尺度的边缘完全抹平。时图像的大尺度边缘也会被平滑。因此在第二步中需要恢复大尺度的边缘结构,如上图,Edge recovery会多次重复迭代以增强边缘。
第一步的尺度选择过程即用高斯滤波器和图像卷积,以一维信号为例,在上图中,一维信号经过卷积后,小尺度边缘被完全去除而大尺度的边缘得到了一定的保留。
第二步边缘恢复使用原图作为双边滤波器的range kernel,与上一步的结果进行双边滤波,这样便可利用原图中的边缘信息来增强被模糊的大尺度边缘。为了进一步增强边缘,可将edge recovery过程重复多次,一般3-5次滤波即可收敛。同样以一维信号为例,在右图中,edge recovery过程不会影响已经在第一步中被去除掉的小尺度边缘,仅会对平滑的大尺度边缘进行增强。
上图中列出了RGF与常用的一些保边滤波器的效果图,可以看到相比edge-aware filter, 通过调整第一步高斯滤波的方差,RGF能够实现对不同尺度的边缘的保留。
RGF的应用非常广泛,可用于图像的纹理平滑、虚拟边缘的恢复、纹理层分离、边缘检测、细节增强、图像风格化等,图中展示了RGF在各种视觉任务中的应用。
关 注 我 们 
  实验室网站:http://viplab.fudan.edu.cn/
  OpenASIC官方网站:www.openasic.org
  知乎专栏:http://zhuanlan.zhihu.com/viplab
  微信公众号:OpenASIC
继续阅读
阅读原文