作者|夏雯琪
江苏卫视跨年晚会上,周深与邓丽君跨时空合唱《大鱼》感动了许多人,B站弹幕被“泪目”刷屏。“虚拟邓丽君”背后的团队,来自数字王国(Digital Domain),这家公司曾用类似虚拟人的技术,完成了《速度与激情7》中已故男星保罗·沃克的戏份。
虚拟邓丽君
同样是跨年的时间节点,百度结合AI技术推出的龚俊数字人在百度App上进行了一场直播,这是国内首个“可交互超写实虚拟人”,唱歌、说话都是由AI驱动,与虚拟邓丽君走了略为不同的技术路线。
龚俊数字人
而湖南卫视新开播的《你好星期六》,也推出了数字人小漾,与龚俊、邓丽君的“数字孪生”不同,小漾虽然语气神态跟谢娜神似,但湖南卫视显然是希望从无到有,打造一个全新的形象。



小漾

进入2022,明星与虚拟人技术的结合越来越深,越来越复杂。
AI驱动、超写实,技术上都已成熟;而明星的“数字孪生”是否要以假乱真,还是重塑一个新的人格,也引发行业新的思考。
百度在与龚俊合作数字人时,没想到龚俊团队会提出:“不要100%相像,最好在外形、个性、特长等方面有一定的差异。”
最终,百度借助AI技术,让龚俊数字人做了一系列真人做不到的事,比如互动聊天、AI作词作曲、弹钢琴、唱歌跳舞、直播卖货等等。
数字王国CEO谢安对剁椒TMT透露:“数字王国事实上也可以实现让AI驱动邓丽君的形象与外界对话,邓丽君的语言、动作、表情都可以做到非常逼真。但为了保证电视节目的万无一失,也保护邓丽君的形象,数字王国最终采用了更稳妥的、中之人的方式来呈现。”
此外,新冠期间的好莱坞,大量“以假乱真”的明星数字人,正在成为影视剧中的虚拟替身。
不断迭代的明星数字人,未来将去向何处?剁椒TMT跟行业前沿的几家公司聊了聊。
面捕、唇动、TTS、NLP……多重科技加持下的龚俊数字人
如今,在百度APP中将“龚俊数字人”设置为语音搜索助理,“龚俊”便会为你播报搜索结果。百度还根据龚俊的人设特点为其设置了可由机器学习的问答,风格与“小度”的说话个性形成了极大的区别。
百度语音搜索界面
百度龚俊数字人项目负责人表示,从2019年开始,百度也在打造二次元数字人IP“度晓晓”,不过“明星数字人有粉丝基础,比其他网红数字人更容易破圈,可以让更多人关注和使用百度APP,带动语音搜索的增长。”
据悉,龚俊数字人这一项目,由百度MEG(移动生态事业群组)作为统筹和核心落地,联动了百度智能云、百度大脑、语音技术部等多个部门。
在外型方面,“扫描当天影棚遭遇台风,时间很紧张,项目组只用半小时,就扫描、捕捉好了龚俊说话时的面部表情、口型肌肉等细微变化,”负责人表示,他们利用AI 自动生成模型,将原本几个月的制作周期压缩到了三周。
同时,百度采集了龚俊的20条语音,依托TTS(Text To Speech)技术,合成音色接近真人的声音;接着,基于百度的自然语言处理(NLP)技术,让数字人可以与用户对话,甚至在最近的直播中可以展现流畅的歌声。
为了让模型和AI语音结合起来,百度语音技术部用“唇动技术”还原了真人说话时的口型变化,使虚拟人说话时自然生动。“龚俊本人看到最终效果后,也觉得很有趣,还愿意与龚俊数字人进行直播连线对话。”
现在,百度APP中的龚俊数字人只有几个简单动作,更深度的对话、唱歌等功能可以在百度青春版APP(Wonder)中体验。



目前,龚俊数字人比较大的不足是动作、表情由于之前动作扫描时间有限都还不够精细,且因为动捕数据不足,在此前的直播中,虽然说话、唱歌都是AI驱动,但肢体动作还是需要借助中之人来完成。
为了提升这些能力,需要对龚俊本人进行更长时间的动作捕捉和面部捕捉。
百度方面表示,龚俊本人也有兴趣再进行一次更精细的动作捕捉,未来,龚俊数字人有望可以根据语义自动配合肢体反应,进行更复杂的互动。
2022年,百度“龚俊数字人”有两个任务,首先是进行机器深度学习,将百度的AI交互能力进一步迁移到龚俊数字人,逐渐引入更多功能,服务百度APP的用户。
其次就是,探索数字人商业化的道路。明星数字人的代言费显然低于明星本人,但,数字人会自带科技感,成为另一种的营销优势。目前,除了龚俊原本代言的品牌,也有其他品牌表达想要商业合作的意愿。
不过,除了与经纪公司共同拥有版权、不能代言竞品产品外,明星数字人的精细度与资金成本也需要进行平衡。
“龚俊数字人第一支亮相视频精细度最高,1秒钟成本近万元,而在Unreal中打造一个场景也价格不菲。”超写实数字人的制作成本较高,其强大功能上线到百度App前,还要考虑安装包包体增大、影响用户体验的问题,目前它在百度App中的精细度就比较低。
“度晓晓、龚俊数字人、祝融号数字人,我们同时在走几条不同的虚拟人道路,还需要验证模式,再进行复制。”百度相关负责人表示。
虚拟邓丽君背后:数字王国如何做到以假乱真?
“照片写实级”,这是数字王国CEO谢安频繁提到的一个词。 
的确,作为曾负责《泰坦尼克号》等几百部大片特效的好莱坞巨头,打造CG级别的虚拟人,是数字王国最大的优势和特点,而虚拟邓丽君这些年也经历了许多次技术的迭代,逐渐做到“以假乱真”。
虚拟邓丽君初次登台,是在2013年周杰伦演唱会上合唱新歌《千里之外》。
谢安回忆起当年第一版虚拟邓丽君的制作过程:“我一辈子都不会忘记,当时有一位得过两次奥斯卡奖的视效艺术家,他灰暗的办公室里贴满几百张邓丽君的照片,用玛雅(建模软件)一笔一划、手工勾勒出了邓小姐的3D模型。”
而在动作方面,虚拟邓丽君最初由美国的一位演员模仿动作,进行捕捉,略显浮夸,还曾受到过“像迪士尼卡通人物”的争议;而后,他们不断修改、研究邓丽君虚拟人的神态和动作,提升精细度。
与当年不同的是,如今数字王国的虚拟人,早已可以通过实时渲染生成,不仅成本大幅度降低,精细度、真实感也较此前大幅度提升。
2015年,数字王国开始对人物的肌肉、毛细血管进行全方位的扫描,并引入了大量人工智能技术,利用机器深度学习去揣摩演员不同情绪下的动作和表情反馈。
今年江苏卫视的跨年晚会,邓丽君背后的声音扮演者,是由模仿邓丽君而走红的歌手陈佳来担任。除此之外,数字王国结合邓丽君生前较高清的视频,将这些机器深度学习得到的“密码”输入到模型中,实时转化为邓丽君歌唱、交谈的样子。
“最令我们最激动的不是这八年来的合唱时刻,而是2019年底,我们曾用视频通话软件,让虚拟邓丽君和邓丽君生前的亲朋好友们对话,有好几个人都哭了,在房间里一首首合唱,不愿意离开。”
谢安表示,“在好莱坞这个小社区,大家都知道我们是虚拟人技术的革新者。以前演员们都痛恨必须花几小时特效化妆,还挡住了面部表情。”
在《复仇者联盟》系列的拍摄中,数字王国结合Unreal这一游戏引擎,导演可以在监视器上实时看到渲染后“灭霸”呈现的情感,节省了很多时间和成本。
新冠疫情下,一些好莱坞明星拍少数电影镜头时还被要求戴口罩,数字王国还可以仅仅根据台词、语气,训练机器深度学习,推测、渲染出演员的嘴型和表情,达到“以假乱真”的程度。
打造明星数字人:孪生VS新生?
从商业和新意的角度来看,与明星本人的不同之处,才是虚拟人存在的意义。
很多明星都希望数字孪生跟自己有一定区隔。林俊杰也曾在抖音首秀中,与“数字孪生”M.E同台,虽然外型一模一样,但数字人的个性人设与他完全相反、还有一些不同的技能才艺,达到了有趣的效果。



如果过于真实、复制,不论是明星还是普通人的数字孪生,都面临着伦理问题的讨论。一方面,已故明星的虚拟形象不应过于商业化。
“我们心里一直有一个道德准则,邓长富先生在签约时曾经说,我把亲妹妹交给你了,我说过不会让他失望。所以,除了曾开展过线下演唱会、跨年这种重要时刻演出,一般都是做慈善、公益活动,我们不会去过度消费邓小姐。”
另外,可以做到交流互动的超写实虚拟人,也有着类似换脸技术的伦理风险。
2019年,数字王国高管Doug Roble穿着动捕设备登上TED演讲台,而大屏幕呈现的是孪生虚拟人“DigiDoug”的演讲,他拥有逼真的毛孔、皱纹,连血液跟随表情改变以及睫毛悄悄颤动都能实现,还能瞬间切换成其他写实虚拟人。

虚拟人DigiDoug
“当你们视频采访我,怎么确保那是我,而不是我的虚拟替身?其实是公关团队在幕后帮我回答?”谢安指出,新冠期间一些好莱坞演员不愿出国拍戏被隔离、感染,或者不愿和某人拍对手戏,“当他使用虚拟替身后被提名了奥斯卡,这场戏到底是谁演的?” 
在“数字孪生”之外的另一条路,则是像Ayayi、柳夜熙这类“从无到有”的虚拟人。
据悉,Ins粉丝超过305万的雀斑虚拟人“Lil mequela”,2019年营收高达7600万元人民币,单次代言合作百万元起步。
“很多大品牌知名度已经很高了,他们考虑到明星的风险,很多想打造代表自己企业文化的虚拟人,”百度相关负责人表示。
不过,凭空孵化“虚拟人”遇到的难题是,建立超写实模型成本更高;没有粉丝基础,从0开始要做什么人设、什么外型才能走红,如何进行长期内容运营?这些都是摆在数字人行业专家们面前的问题。
比如《你好星期六》里面虚拟主持人“小漾”的表现被网友评价为“还没长大”,很多只有图片动态的网红类虚拟人目前的粉丝数、互动量已经越来越低,没有令人“眼前一亮”的人设和丰富内容。
尽管虚拟人在技术发展方面已经日趋成熟,但制作成本并未大规模降低,与此同时,缺乏运营层面的操盘手,也并未出现“独角兽”公司。
曾经,明星虚拟人需要解决的问题是“相似”,而如今,数字人行业更多考虑的是,如何让一个数字人形象招人喜欢,甚至,过目不忘。
“不少公司找到我们,希望帮忙打造一个虚拟人。”一位数字人领域的操盘手表示:“但我们通常会反问,虚拟人长什么样,是什么人设,要花多大的成本,后续如何运营,你们,想清楚了吗?”



—End—
1月25日,剁椒TMT与险峰(K2VC)将在北京举办关于数字人的第二期活动,与大家共同探讨数字人的前沿技术、营销与人设。


感兴趣的朋友可以扫下方二维码沟通,也欢迎行业内的朋友们推荐&自荐演讲嘉宾。




话题互动:
你如何看待明星数字人?

推荐阅读

讨不到男人心,
95小生永无出头之日
点击观看
↓↓↓

关注娱乐资本论视频号,追料更及时
-
如需商务合作后台回复【商务】
如有转载需求后台回复【转载】
更多文娱产业背后的经济逻辑,来关注↓↓↓

继续阅读
阅读原文