打造3D虚拟直播间，赋能B站UP主：虚拟制作技术到底有多厉害？

GGV有话说：

GGV投资笔记是GGV纪源资本关于投资、商业、科技的所见所闻所想，探讨关于世界的一切。

在这里，你可以收获：

全球优秀科技公司管理经验、一线调研；

顶级风险投资人&创业者经验分享；

大航海时代的世界人文历史、商业见闻……

以下是GGV投资笔记系列第八十五期。

背靠着基于增强现实等技术形成的技术手段与崭新算法，随幻科技正在试图让好莱坞大片才用得起的后期制作轻量化、平民化与产品化，形成一款可以让小白用户迅速上手的制作引擎，并在PGC、电商直播、企业宣传与影视拍摄中使用。拿电商直播场景来举例，在它所赋能的直播案例中，用户打赏的“金币”会落在主播身上，直播间也会随时在产品场地与应用场景间无缝切换。

对随幻科技来说，将虚拟场景与实时互动结合的应用场景极其广泛，创始人洪煦认为，这一技术在PGC、电商直播、企业宣传与影视拍摄等行业的广泛应用，能够让更多B端和C端用户了解到虚拟制作场景的趣味与魅力，而这种普惠价值正是他所追求的。

口述：洪煦随幻科技CEO

编辑：张颖

虚拟制作技术背后的概念包括多种，其中XR （扩展现实，Extended Reality）是 AR（Augmented Reality,增强现实）、VR（Virtual Reality,虚拟现实）、MR（Mixed Reality,混合现实）等多种形式的统称，也是随幻科技所有业务的基础。换句话说，我们可以利用自由三维深度技术和实时云端渲染等手段实现XR概念的应用，即视觉上的三维合成，实时渲染以及虚实互动。

在行业耕耘多年，我将我们目前服务的领域分为四类：第一是能够自由应用三维虚拟技术的PGC领域，包括影视、演唱会、综艺等；第二是能够在辅助之下提升用户停留时长与转化率的电商直播，第三是可以用相对低成本的形式增加酷炫效果与沉浸性的线上娱乐、教育等行业，第四是可以赋能于营销效果的企业活动等等。

（薇娅直播间的虚拟背景打造）

一场发布会带来的收获

用我们的技术打动企业主，将XR技术利用到虚拟发布会上的一个经典案例，是我们与小鹏汽车的合作。2020年4月小鹏计划发布P7新车型，因疫情的缘故，需要把线下发布会改到线上。小鹏汽车找遍很多供应商，都无法满足他们的需求。

小鹏汽车希望做一场24小时直播的虚拟发布会，这其中的难点很明显：首先，发布会要以虚拟的形式实现对新车的真实展示；其次，因为时间地点难以协调，发布会的嘉宾很难聚齐，大家只能各自完成环节再进行“同框”；最后，小鹏希望能够与观众实时交互，但是让虚拟直播与实时性结合有很大难度。最终，小鹏找到了我们这样一个正在探索XR技术行业开发的团队。

我们首先确定了创意元素与脚本设定，一起设计了概念图，包括展示场景。然后用我们自己研制的软件做出三维场景，最后再让观众参与进来。在我们的设定下，发布会的主持人与嘉宾分别录制，并实时抓取他们的动作，最后放入虚拟场景中。

（小鹏汽车虚拟发布会现场）

这场发布会最后被定义为一场具有科幻感的24小时直播的虚拟发布会，我们设计了未来的广州城作为发布会背景，并在现场把一辆P7真车“开”了进去，并实时和观众进行互动。虚实难辨、震撼的现场效果让很多合作方在发布会之后找到我们，我们陆续做了很多个项目，包括网易的“大话西游”盛典，天猫超级品牌日的发布会，还有中国好声音总冠军扎西平措的虚拟MV直播，B站的BML“2233娘”全息虚拟演唱会等。

（网易大话西游盛典的虚拟场景应用）

就这样，我们逐渐确定了市场对实时的虚拟制作及交互类直播的需求。

（为B站up主量身定制的虚拟舞台场景）

好莱坞大片的技术也可以平民化应用

虚拟制作及交互并不是一个新概念，它是影视后期制作的一部分，包括我们很早就看到的电视台气象预报，体育赛事直播，以及电影或电视剧的绿幕制作部分。

但此前这些制作倚赖的软件和硬件成本都比较贵，大概几百万甚至上千万一套，而且使用要求极高，需要专业人才使用，并在使用中需要多次调试。

随幻科技的技术突破口在于加入了深度的实时虚拟系统，这套系统利用XR技术实时监测与分析虚拟空间，把人物行为与空间合二为一，使他们形成互动。

这其中突破了很多难点，比如实现了拍摄过程中的实时渲染，在此之前，建立在虚拟的三维场景下的拍摄内容往往需要后期团队在拍摄后完成。但是随幻的方式是首先将用算法把三维信息与空间信息全部重建，然后通过实时计算，与一个虚拟的三维场景融合在一起，让从绿幕里抠出的人物与虚拟三维里面的所有深度信息全部都结合。在算法的赋能下，这种操作非常简单，不需要由摄像师扛着机器跟拍，阴影等效果都可以被自然显示出来。

这带来了新的可能：执行导演在“横店”拍戏时，制片或美术指导可以在北京或者上海远程地实时看到云端已经合成的画面。很多影视行业工作者以往只能在后期制作之后才看到合成后的绿布景戏，而且是先拍摄再看后期，导演不满意的部分又需要重新拍摄，不仅周期长，而且效率低。如今他们把自己对于运镜角度、镜头轨迹等各方面的建议直接与现场人员实时沟通，一些合作伙伴甚至把我们称为“云上‘横店’”。

（虚拟制作在影视拍摄里的应用）

另外，以往的绿幕和场景结合很容易产生“穿模”，在镜头里一个人走过去，一片树叶甚至会穿过他落下来，随幻不仅解决了这样的技术bug，并且依靠算法形成了游戏化的交互方式，例如可以允许观众在观看的时候实时打赏，在我们为中国好声音总冠军扎西平措制作的虚拟MV中，打赏的金币甚至会作为真正的金子落在扎西平措的身上。

（随幻科技制作的虚拟MV）

为了实现这样的技术效果，随幻科技搭建了一个合作机制：开发者组成的“技术团队”与内容创造者组成的“内容团队”共同完成开发。随幻的内容团队普遍来自导演、策划、艺术、美术等行业，他们根据影视行业的需求，持续输出策划与意见，改进开发的方向与细节。

我一直认为，只有实现快速创建各种三维场景才能迅速被市场接受，随幻为了提高效率，特意搭建了一套像积木一样的内容创造引擎，其中含有很多场景的内容模板，用户可以很容易上手就能进行二次编辑，轻易地修改不同的形状或颜色，形成自己的直播风格。我们的目标是，让即使是影视行业之外的用户，在经过一些培训之后也能迅速学会操作。

降低成本，提高效率

极力赋能行业

实际上，我们实现“轻便化”的真正目的，是将虚拟直播的使用成本降低。在和湖南卫视、B站、腾讯、阅文集团等客户合作的过程中，我们发现，在他们的产品计划中，科幻、玄幻类占有很大比重，他们也渴望将海量优质IP以影视剧的方式呈现，而这类题材通常需要大量的虚拟背景素材。而在疫情的影响下，他们更加非常希望可以减少拍摄与后期的时间成本，并且实现远程拍摄。

最近我们正在与某视频平台合作一部8集的电视剧，总共拍摄与制作周期可以放在7天时间，而之前这样的制作周期通常在3到4个月。

我们的另一个收获是，逐渐看到实时虚拟直播互动的最大市场：电商直播。去年我们跟天猫做了几场测试，主播甚至不需要去录影棚：只需要有一块简单的绿幕和一部相机，就可以模拟家装销售的场景，在一个虚拟的“家”中介绍产品；或者在夏天模拟出飘雪的冬天景象，售卖羽绒服等御寒产品；有一些卖家为了强调产品是工厂直销，特意模拟出“工厂”场景；还有主播迅速学会这套系统的应用，自己把产品的海报上传并形成了直播背景。那次与天猫的合作共做了三场，销售效果显著，在没有做任何新增流量导入的情况下GMV提高了3到4倍。

（虚拟制作技术在直播中的应用，背景均为虚拟图片）

虚拟直播对电商的意义还在于帮助他们获得了更高的用户黏性。电商的核心逻辑一方面是供应链，另一方面是流量；虚拟直播降低了它们“装修”的成本，漂亮的直播间会让大家在刷短视频的时候停留更久，而短视频平台引擎的流量算法一般基于用户的停留时长。

（虚拟场景可以根据品牌需求随时切换）

让用户迅速上手的产品

才是好产品

在创立随幻之前，我一直在想一个问题：能不能进一步降低门槛，让C端小白用户也能使用虚拟现实技术？在抖音出现之前，视频都是专业的人在拍摄，而如今每个人几乎都有能力拍短视频，这其实是我们的最终目标。之前多次案例的成功让我开始思考技术的应用场景和方向，最后将电商、教育、娱乐和to B作为我们可以尝试的应用方向。目前电商将是随幻最重要的服务领域，影视剧、发布会制作为代表的线上娱乐为辅，线上教育与企业活动板块也在积极增长中，随幻选择的每个市场机会都有真正的需求，有望在短期之内形成线性增长。

但是我不希望创办一家项目制公司，我更希望随幻成为一个产品化公司。以小鹏发布会为例，以往这种发布会需要耗资几十万元到上百万元，但是对中小型客户来说，我不希望定价太高，反而更希望随幻的产品作为SaaS形式服务，除了免费的素材资源供他们以搭积木的方式制作之外，在云端还会提供一些收费素材。

做出这样的一款工具化产品，唯有降低它的使用成本才能把用户的使用频率带动起来，例如在一些行业的“在线展会”当中，每一家企业都能自己录制一段，来宣传推出的产品。我们还计划为用户提供虚拟的商务型会议的应用场景，与Zoom等产品打通，让企业级用户可以展示它们的PPT或视频，而这将意味着更多企业的数字化品牌资产也将在随幻的系统上积累起来。

也正是为了让产品更加to C，我们把随幻的软件使用界面设计得有些类似于PPT，让无论是B端还是C端用户，都可以在学习5分钟之后迅速上手，像使用Power Point这种通用工具那样来自己做视频与直播，把随幻作为一个常态化的工具和联系用具来看待。归根结底，即使面对to B客户，我也希望产品能够更普惠，有更多人使用它。

同时，也唯有让更多用户频繁使用，才能让随幻这款软件的素材库积累起来，而素材的积累将形成我们在行业的竞争门槛。当模板或场景积累得足够多，用户可以迅速找到任何一类直播的素材来使用。换句话说，在随幻的产品面世后，后续的开发成本需求极少，只需要进行一些云端维护。而此时各种直播、舞台、发布会、演唱会，甚至影视剧素材的积累可以实现打通，当更多VR或AR进入行业的时候，丰富的素材能够形成对它们的降维打击。