丰色 发自 凹非寺

量子位 报道 | 公众号 QbitAI
当电影用另一种语言配音时，演员的面部动作、口型在新的语言下会非常违和。
不信你看，当章子怡的《卧虎藏龙》被配音成英语后：
观看起来是不是非常奇怪？
现在，最新的技术可以帮大家免除这种“尴尬”：
使用Deepfake来操纵演员的嘴唇和面部表情，使之匹配新语言配音。效果非常逼真！从口型看起来就像演员刚刚学会了一门外语，然后重新拍了一版一样。
影帝罗伯特·德尼罗在《双面劫匪》里有模有样地“说”起了德语：
德语、日语、西班牙语的《阿甘正传》：
如果你没看过这两部电影，会怀疑它们其实都不是原声吗？

Deepfake的“用武之地”又多一个

事情是这样的，电影《双面劫匪》的导演在看了它的外国版后非常震惊，表示与人物口型对不上的配音毁了电影里不少精心制作的场景。
要知道，在对电影进行其他语言版本的配音时，为了使对话更接近演员的唇部动作，有时甚至会大幅改变人物对话。
该导演说：“当时我非常伤心。你在一句台词词或一个表演上做一个小的改变，就可能对故事节奏中的一个角色产生大的改变，进而对整个电影产生影响。”
最后，他实在受不了在自己的电影里看“变味儿”的外国配音，表示还是别配了，听原声看字幕得了，开始“盯”上了最新的Deepfake技术。
他开始研究并参加了一个AI配音项目，该项目由德国马克斯-普朗克研究所的一位教授领导。
（该研究所出过18个诺贝尔科学奖获得者）
他们的这项AI配音工作比传统的Deepfake复杂得多。需要捕捉一个场景中演员的面部表情和动作，以及用另一种语言说同样台词的人。然后将这些信息结合起来创建一个3D模型，将演员的面部和头部与配音者的嘴唇动作结合起来。
由这位导演和他参与创立的Flawless公司最终从该项目汲取了灵感，和制片厂讨论决定将该技术应用到多种语言版本的电影中。
然后就有了前面我们看到的那个demo效果，人物对话使用德语等语言配音，演员的口型和面部动作却与该语言紧密贴合，让观众根本无法意识到原版其实是用英语拍的。

演员看完表示很不安

这项技术可以帮电影公司制作多语言版本时，避免昂贵的重拍。但是有演员看到自己被AI操纵、“说”出一口流利的外语后，同时表现出了惊喜和担忧这两种反应。
不难理解，Deepfake一直存在争议。
这项触手可及的换脸技术曾被用来合成名人色情片，以及基于报复或其他目的的素人色情视频。在政治领域也有被用来合成名人视频发表不恰当言论，影响选举等政治事件。对社会和伦理造成来很恶劣的影响。
现在在电影行业使用Deepfake的面部操纵，也可能引起争议。
一家也在搞AI配音的公司负责人表示，没法确定一些演员看到自己的表演发生这样的变化会有什么反应，尤其是他们不清楚这是电脑做的情况下。一些名气更大的演员可能根本就不赞同这样做吧。
美国银幕演员公会（SAG）总顾问表示，这项技术可以被合法和合乎道德的使用。任何此类技术的使用都必须获得相关演员的同意，并给予他们适当的补偿后才能进行。
不知道大家期待这项技术被合法利用在电影行业吗？
参考链接：
[1]https://www.wired.com/story/ai-makes-de-niro-perform-lines-flawless-german/
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。
点这里👇关注我，记得标星哦～
英伟达CV公开课免费报名！
6月2日/下周三第2期直播中，英伟达专家将实战演示如何快速搭建面部情感识别系统，带大家低门槛、高效率学习AI模型的搭建、训练与部署。欢迎扫码报名~
p.s. 报名后还可入群获取其他课程回放、课程PPT、源代码哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
继续阅读
阅读原文