赚足眼泪的《李焕英》被“复活”啦——详解篇
春节期间《你好李焕英》电影以42亿票房,火遍全球,赚足了我们的眼泪,各位宝宝们都默默在心里保证:我一定要听妈妈的话两天,哦不,一周。<(罒ω罒)>
《你好,李焕英》也同样触碰了B站知名Up主,独立艺术家——大谷Spitzer内心最柔软的部分,并应用飞桨PaddleGAN的能力,修复了李焕英年轻时的黑白照片,不仅为照片上色、提高了分辨率,还让静态的人物,从照片里“动起来“!
聪明的开发者们当然不止步于感动流泪,一定要挽起袖子自己动手尝试一下!那么小编这里就为大家详细解析下这个具体的实现过程。
过程中使用了PaddleGAN的相关算法详解如下:
1.黑白照片上色算法:DeOldify
DeOldify 是一种效果卓越的,可以将黑白的影像自动填充上色的深度学习算法,它是采用自注意力机制的生成对抗网络。生成器是一个U-NET结构的网络。在图像的上色方面有着较好的效果。
2.分辨率提升算法:EDVR
这一步就是将低分辨率的图片的分辨率提高,使影像的清晰度及细腻度增强。
PaddleGAN支持EDVR模型来进行分辨率提升,它提出了一个新颖的视频具有增强可变形卷积的还原框架:第一,为了处理大动作而设计的一个金字塔,级联和可变形(PCD)对齐模块,使用可变形卷积以从粗到精的方式在特征级别完成对齐;第二,提出时空注意力机制(TSA)融合模块,在时间和空间上都融合了注意机制,用以增强复原的功能。对视频的分辨率提升有很好的效果。
3.脸部动作迁移算法:First Order Motion
First Order Motion model的任务是给定一张静态的源图片,以及一个对应的带有面部表情的驱动视频,生成一段新的视频。在这个新的视频中,主角是源静态图片中的任务,而面部表情动作是驱动视频中人物的表情。First Order Motion也可以驱动人体的动作,原理是相同的,通常情况下,我们需要对源人物进行人脸关键点标注、进行表情迁移的模型训练。
是不是已经迫不及待要去尝试一下了? 小编赶紧送上传送门:
👆长按上方二维码立即Star支持PaddleGAN!👆
而PaddleGAN作为百度飞桨产品矩阵中重要的一个模块,力争为开发提供生成对抗网络方向的强大工具集,不仅提供经典及前沿的生成对抗网络高性能实现,还支撑开发者快速构建、训练及部署生成对抗网络。除了上面我们说的上色、分辨率提升、脸部动作迁移之外,还提供例如
【AI换脸】
【人脸生成】
【图像变化】
【图像生成】
这么有趣又有用的技术方向,你是否已经迫不及待,准备 “大GAN一场”呢?赶紧前往项目地址尝试动手开发吧!
赚足眼泪的《李焕英》被“复活”啦!
2021-05-21
蚂蚁集团自研数据库OceanBase即将开源
2021-05-28
SpringBoot中的异常处理与参数校验
2021-05-28
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。