「完美复刻」的人物肖像画生成
点击上方“Jack Cui”,选择“设为星标”
第一时间关注技术干货!
1
受 U-Net 网络的启发,U^2-Net 也是一种类似编码-解码(Encoder-Decoder)的网络结构。
研究者在此基础上,提出了新型残差 U-block(ReSidual U-block, RSU),融合不同尺寸接受野的特征,以捕获更多不同尺度的上下文信息。
RSU 网络与现有卷积块的结构对比如下:
最右边的结构,就是 RSU-L,L 表示编码器中的层数,C_in、C_out 分别表示输入和输出通道,M 表示 RSU 内层通道数。
具体而言,RSU 主要有三个组成部件,分别是一个输入卷积层、一个高度为 L 的类 U-Net 对称编码器 - 解码器结构以及一个通过求和来融合局部和多尺度特征的残差连接。
为了更好地理解设计理念,研究者在下图中对 RSU 与原始残差块进行了比较。
结果显示,RSU 与原始残差块的最大区别在于 RSU 通过一个类 U-Net 的结构替换普通单流卷积,并且通过一个由权重层转换的局部特征替换原始特征。
更值得注意的是,得益于 U 形结构,RSU 的计算开销相对较少,因为大多数运算在下采样特征图中应用。下图展示了 RSU 与其他特征提取模块的计算成本曲线图:
U^2-Net 的整体网络架构如下:
U^2-Net 主要由三部分组成:
- 6 阶段编码器;
- 5 阶段解码器;
- 与解码器阶段和最后编码器阶段相连接的显著图融合模块。
说完网络结构,再看下损失函数,研究者使用了类似于整体嵌套边缘检测(HED)的深度监督算法:
其中,M=6, 为 U^2-Net 的 Sup1, Sup2, ..., Sup6 stage。
为 Sup1, Sup2, ..., Sup6 输出的显著图
的损失函数。
为最终融合输出的显著图
的损失函数。
为每个损失函数的权重。
对于每个 l ,采用标准的二值交叉熵损失函数:
其中,(r, c) 为像素坐标;(H, W) 为图像尺寸,height 和 width。
分别表示 GT 像素值和预测的显著概率图。
总的来说,U^2-Net 的设计构建了具有丰富多尺度特征以及较低计算和内存成本的深度架构。
更详细的内容,可以直接看 paper:
https://arxiv.org/pdf/2005.09007.pdf
2
python u2net_portrait_test.py
3
简单说下
我的感受,网络上存在一群薅羊毛党,留言点赞这种形式很容易被钻空子,花几毛钱,就可以刷上榜。
推荐阅读
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。