i-Weekends | 她会梦见电子羊吗？

IDG君写在前面

今天的题目灵感源自科幻文学大师菲利普·K·迪克1968年创作的小说《仿生人会梦见电子羊吗？》。迪克创造了“赛博朋克”的早期概念，大名鼎鼎的《银翼杀手20》的剧本原型。

明亮的霓虹灯、超大的全息投影、潮湿肮脏的街道、酷炫的人机交互方式......近年来，赛博朋克及其元素受到越来越多的喜爱和关注，而赛博朋克文化核心讨论的，无非是人类与人工智能之间的关系。

眼下，人工智能在各方面改善了我们的生活，而在遥远的未来，日益强大的人工智能和虚拟人，会让我们的生活更便捷还是更惶恐？这个周末，一起来谈谈赛博朋克文化中重要的元素——虚拟人的定义、用途和进展。

本文授权转载自腾讯研究院

在原文基础上有删减

阅读时间约5min

创造栩栩如生、真情实感的数字化人类，既是《银翼杀手》等科幻作品的想象，也是数字内容创作的不懈追求。近年，不仅有虚拟偶像、MMD（MikuMikuDance，虚拟角色跳舞）等文化现象大流行，更在AI加持下为数字人类初步赋予自主智能。在可见的未来里，我们是否能轻松拥有自己在赛博空间中的“复制体”——虚拟人呢？

《银翼杀手2049》中的虚拟人

#1 虚拟人与数字人、虚拟偶像

虚拟人与数字人两个概念多数时候可以通用，相比之下，虚拟人更侧重其在外观、智能等方面与人的相似性，在难辨真假的同时可以进行交互。笼统地说，通过3D图像软件或其它模拟仿真工具制作，以数据形式存在的人与类人角色，都可以算作数字人（digital humans）。

虚拟偶像，则是从应用场景出发的一种称谓，无论2D、3D或怎样的表现形式，只要以满足用户对成长、美好的向往为出发点进行公开活动，都可划分到偶像范畴。虚拟人可以被打造为虚拟偶像，同样也可以成为虚拟演员、虚拟作家等等。按照美术风格，可以大体划分为高保真风格、写实风格与卡通渲染。

除风格及场景外，虚拟角色还可以按照制作主体、方式、驱动方式进行分类。艺术家从创意想象出发，经过2D原画-3D建模-绑定-动画等流程制作出的，属于PGC类型；一般用户基于平台工具，将自己的照片、视频上传后自动化生成，或组合已有的面部特征、修改参数进行“捏人”的，属于UGC类型。

#2 虚拟人可以做什么？

虚拟主播的风靡，证明风格化的虚拟角色在商业层面充满可能性。那高保真风格的虚拟人又适用于怎样的场景呢？

真实系虚拟偶像

尽管当下二次元风格的虚拟主播更为主流，但真实系偶像的潜力同样不可小觑。当虚拟人的制作精度、动作自然度跨越恐怖谷，自然也有望跨入优质偶像的行列，并有更广的应用场景。

韩国艺术家金贤日（Hyeong-il Kim）创立的SUA项目正是以打造真实人类形象的虚拟偶像为目标。SUA由CG技术制作，在Unity引擎中实时渲染。虽然外形精度不及扫描真人模型后制作的效果，但也足够拟真。如果使用最新款支持面部捕捉的iPhone，小姐姐会模仿你做出扭头、撅嘴、转动眼睛的动作，十分流畅。SUA拥有自己的Twitter，不定期更新自己的日常活动。金贤日正在“培养”SUA的各种才艺技能，让她“出道”后可以应对各种各样的场景任务，如模特、演员、歌手等。

虚拟人SUA用iPhone 12 mini实时跟踪的效果

在数字影片中担任演员

使用游戏引擎制作写实风格的影像短片已并非难事，但“虚拟演员”，也就是高质量的人形美术资产，在数量和质量上都不易达到影视制作的需求。在虚拟人制作逐步成熟后，这一问题得到了初步解决。

在2021年Epic官方及合作伙伴发起的短片竞赛中，科幻题材实时渲染短片《K.I.T》就使用了多个虚拟人作为主要演员，以精良制作斩获多个传统电影奖项。短片中“出演”的角色包括Renderpeople、3DPeople中的数字人物角色，及从Eisko官网下载的免费高保真虚拟人Demo——露易丝（Louise）。作者布兰登·希尔（BrandonHill）是一位并就读于查普曼大学道奇电影与媒体艺术学院的学生。

露易丝照片（左）及渲染后的虚拟形象（右）

重现已故的亲人

还原已故的名人、亲人形象，虽存在一定伦理挑战，但也是很多人的真实需求。韩国MBC电视台纪录片频道在2020年2月曾利用VR与虚拟人技术，让一位母亲与三年前因白血病去世的女儿实现“重逢”。母亲戴上VR眼镜后，可以通过触觉手套感知孩子的头发、握住女儿的手，在虚拟空间中与女儿共度生日。她在“重新见到”女儿Nayeon时泣不成声，接受采访时表示，“可能这就是真实的天堂”。技术人员通过Nayeon生前的影像和对同龄孩子进行动作捕捉，合成了Nayeon的声音、动作和面部表情。

三寸天堂

#3 如何做出逼真的虚拟人？

制作实时渲染、高保真、可交互的数字人类，需要影视、游戏两个领域技术的取长补短。影视很真实但不实时，游戏正好相反。影视领域的成熟技术light stage光场摄影，率先解决了“真实度”这一难题。

通过传统流程制作出的游戏角色，仍与真人在细节上有一定差距。角色制作遵循一条由虚向实的路径，一般流程为2D原画设计-3D建模-贴图-骨骼绑定-动画制作。因显卡运算能力和引擎渲染能力不断攀升，写实风格的角色效果正不断向影视级靠近：角色可使用的面数不断增加，材质提升，细节完善，这从《古墓丽影》系列主角劳拉的形象变化可见一斑。

历代劳拉，一个更比一个真！

影视领域则选择由实向虚，高保真数字模型制作与后期处理能力结合，诞生出让人瞠目结舌的特效成果。电影《本杰明巴顿奇事》讲述了主角返老还童的一生，将布拉·德皮特的面部模型与不同体型的演员合成，演绎角色从老年至婴儿的形象变化。这也是在电影中实现的第一个照片级真实数字主角。

皮特本人与使用面部合成技术后的形象

关键技术支撑，来自南加州大学教授Paul Debevec自2000年启动的light stage光场摄影项目研究。这属于photogrammetry范畴，使用单个场景拍摄的多张不同角度照片来重建3D空间中的 CG 模型。回忆下《黑客帝国》中的子弹时间特效，现场有多台摄像机，用不同角度的影像重建出可360°旋转的场景。

light stage正是通过构造相机阵列，以多角度、高精度照片，既还原拍摄人物的三维结构，也获取面部的反射信息，从而能在不同环境光下重构人脸模型光效。light stage在不断迭代中解决了技术和工程难点，包括高精度皮肤纹理合成、光照与环境随时统一、更准确快速的采集过程。