新智元报道  

编辑：编辑部
【新智元导读】这个天猫双11，酷炫的AI技术，为你我打造了一场如梦似幻的沉浸式购物之旅。
今年双11，你买什么了？
有没有发现，现在上淘宝天猫购物，跟以前有了很大的变化——
有了一个巨好玩的沉浸式购物模式！
想送她一个口红做礼物，但又分不清色号怎么办？
没关系，打开淘宝，可以先在这里练习一下嘛。
这不比去专柜试色，往手背上涂省心多了！
沉浸式购物：想试就试！
如果说，过去的购物是关于售货员、橱窗、柜台的，今天的柜台已经挪到了手机app上，橱窗变成了一张张图片和一段段视频，售货员变成了一个个带货主播。
过去购物是溜达着逛商店，挑好了东西排队结账。
现在的双十一是躺着床上动手指，挑好了东西等收快递。
有进步吗？有。体验好吗？真不一定。
同一件衣服，店家的模特穿上和我穿上怎么差这么多？尺码不合适要退换？没问题，快递一来一回，再多等十天半个月吧。
实体店购物虽然累，但可以踏踏实实试衣服，尺码不合适立马调换。
作为「双十一」顶流平台之一，天猫每年其实都在做一件事：让网上购物向实体店体验靠拢，最好是能无缝对接。
所谓「沉浸式购物体验」大概就是这个意思。要是能在手机上找到逛实体店的感觉，还不用排队，谁会不喜欢呢？
不过，要想让原本是3D的商品在手机上动起来，光靠拍几段动画是不行的，这里说的「动」，是按照顾客的意愿，想怎么动，就怎么动。
最好是能让顾客把手指放上来自己动，或者只要动动手指，就能搬动场景中的宝贝。
如果相中了准备买，只要简单一划，就直接跳转到购买页面了，剁手比过去更方便了有没有！
就比如说，现在的电视一个比一个大，我怎么知道挂在我家的墙上效果如何？
打开手机天猫app，看看这个AR场景，尺寸和效果展示都在，你甚至可以想象坐在沙发上看这个电视的感觉，有点上头是吧？
讲到大促活动，少了美女主播怎么行，这次双11，美女主播在3D直播间等着各位！
不要跟我说「你这背景也太假了」，搭一个这样的背景也是很不容易的。
过去小姐姐直播，把手机拿在手上展示，你们老说看不清，这下看清了吧？不考虑剁个手吗？
如果你是一位露营和远足爱好者，选购装备时总想看看野外使用时的场景够不够炫酷是吧？
只要你想，天猫可以带你去一个秋日的午后，山脚下的帐篷已经为你准备好，帐篷外全套装备一应俱全，要不要进去歇歇脚？
夕阳西下，又到了野餐晚饭时间，桌椅已经齐备，把食物端上来，大快朵颐吧。
任意门背后有什么？
那么，3D购物体验到底能干嘛呢？
让我们走进任意门，看看会通向哪里？
进入了一个很酷炫的虚拟空间。
让我们选择这个空间。只见一座缥缈的水云阁楼，烟斜雾横，廊腰缦回，还有一棵红叶古树。竟然是……
小兰花的司命殿！
让我们再进一个空间，进入了一个厨房。随手可见各种高科技小厨电，地上还有扫地机器人在游走。
点进商品橱窗，就能浏览各种厨电啦。
再进一个空间，映入眼帘的，是数字作品馆。
这个无垠的宇宙空间也太酷炫了吧。
比如这幅《画猫系列之朱淑真》——
古雅的风韵，美轮美奂的场景，太让人心痒了!
天猫页面上还有个臻品馆，进入之后仿佛身处褐色的海底世界。
忽然，天空飘来一只华丽丽的腕表，这贵气简直让小编闪瞎了眼。
转动这个表，表盘、齿轮、旋钮、甚至表带上的纹理，都清晰可见。
抬头看一眼价格：1570000，是咱买不起的价格了。但是不妨碍我们通过3D技术，来感受一下豪华奢侈品令人回味无穷的魅力。
还有宇树科技的这只仿生交互机械狗，安防巡检、勘测救援样样拿手，还能帮你取快递。用VR看一看，这四肢有多灵活。
「撑起」天猫双11的硬核技术
说来，天猫怎么就忽然做起沉浸式购物了？
其实在过去的13个双11里，天猫的底层技术基础设施得到了深厚的积累。而现在随着AI技术的革新，产品形态的创新，也变得千变万化。
如今这个时代，恐怕很少有人没在直播间买过东西了。这种边看边买的购物体验，越来越被大家广泛接受。我们也都越来越习惯于通过直播、短视频这样的内容形态去种草。
天猫的开发者们，也一直在思考如何更好地满足消费者的各种需求。
天猫依托底层3D引擎（AceNNR）、AI引擎（MNN）、AR引擎、多媒体等技术，让我们能通过AR应用、3D展示等各种方法，看到各种产品的形态。
而其中沉浸式体验最关键的技术，就是NeRF 3D建模、虚实融合和云技术了。

1. 3D建模

众所周知，手机屏幕是个平面，而商店里的东西是立体的。
如果想要在手机上讲沉浸体验，从2D到3D的升级是基础，也是重中之重。
那么问题来了，商家该如何打造一个体验堪比实体店的虚拟3D空间？
为此，阿里想到了学术界研究已久的神经渲染算法（NeRF），并在之后首次实现了在工业界的规模化落地。
通过结合自研的AceNNR推理引擎和工具链，打造了一个高精度、低成本的3D商品制作工作流，快速实现商品建模到手机端展示。
其实，在去年的时候，阿里就推出了相关的技术——Object Drawer。
整套流程下来可谓是相当简单。
首先，对商品进行拍摄并生成一系列照片。
然后，把照片上传到云端，让三维重建算法进行训练计算。
最后，就可以得到渲染好的模型啦。
基于RGBD的自动化拍摄设备和神经渲染建模算法，整个方案仅在拍摄阶段需要少量人工参与，建模完成后无需修模，因此可以实现低成本的建模，相比原有建模能力平均有70%的成本降低。
而且还原出的「虚拟商品」，不仅精度很高，而且表面细节的材质和纹理都无限逼近真实照片。
目前，这套三维重建方案已经覆盖了鞋、包等超过十个类目。之后，阿里还会尝试利用多种差异化的拍摄设备和算法能力，来完整地解决所有商品品类的建模问题。
对于消费者来说，通过3D模型可以知道商品准确的外观颜色、形状结构、物理材质等信息。
以服装为例，除了可以看外观颜色，还可以仿真不同衣服的材质属性，无论是棉、麻还是涤纶，对应材质等都有不同表达。
未来，结合用户的3D数字分身，可以以非常逼真的形式超前体验商品，比如穿上衣服之后是不是漂亮，是否与身材贴合，从而避免尺码不合等问题 。
用户甚至可以通过手机看到3D衣服的自定义编辑纹理贴图，实现衣服的外观和细节的定制，即所谓「所改即所见，所见即所得」。

2. 虚实融合

在有了商品的模型之后，接下来要做的，就是想办法把真实的人「传送」到虚拟的3D空间里。
为此，阿里正在加速构建低成本、高保真、部署简单的虚实融合技术。
具体来说，这项技术包含了虚拟场景生成、光影和谐算法、虚实相机镜头同步技术等核心模块。
基于该技术方案，可以把真实的用户身临其境地带入到3D虚拟世界中，而且用户还可以在这个3D虚拟空间中自由走动和交互。
这一技术将被用于虚拟直播间、T台走秀等场景搭建，可让商家更轻松地构建符合品牌调性的3D内容。
比如，作为背景的火星就是一个3D的虚拟场景，而前景依然是真人模特。
可以说，前景和背景的光影，完全是无缝融合。
而想要实现如此酷炫的效果，只需要在前期用绿幕进行拍摄即可。
当真人模特在「火星」穿梭时，商家就可以全方位、动态地展现品牌服饰了。
既然已经有了3D消费场景，那么里面的内容素材，比如3D模型，是不是也需要频繁地更新迭代了？
对于这点，阿里也将为广大商家准备超低门槛的3D内容编辑和运营工具。
特别是对期望拥有自己3D品牌馆的商家，这套编辑工具通过模板方式可以快速支持商家实现从0到1搭建3D店铺、装修店铺、批量上新商品等各种功能。
就比如上面这样一个淘宝人生风格的虚拟3D店铺，商家可以选择合适的3D商品在货架上进行展示，也可以根据不同的消费季节一键替换店铺风格。
而用户也可以通过自己的虚拟数字分身，身临其境地逛3D店铺，自由试穿试戴，一键下单购买。

3. 云技术

要实现双十一期间的完美「沉浸式购物」，离不开海量算力资源的支持，而说到算力支撑和调度配置，绕不开的核心业务就是阿里云。
可以说，正是双十一大促对算力资源和配置的巨大压力和苛刻要求，催生了阿里云的「百炼成钢」，也正是阿里云一步一个脚印的提升，让双十一成为「剁手爱好者」们一年一度的盛宴。
通过全面上云和深度用云，为阿里业务的敏捷创新及消费体验的变革奠定了坚实基础，也让阿里的技术架构不断向serverless的方向演进。
阿里是全球首家将全部业务放在公共云上的科技企业，过去十年里，已经完成了云计算能力从单点试验到规模化应用的「跃迁式变革」。
从2015年起，为了适应业务的快速增长，阿里在「双11」活动中开始将电商核心业务弹性上云，以解决大促期间的算力缺口问题。
2019年，实现核心系统上云。
2020年，实现云技术的全面原生化。
2021年，完成了包括电商主营业务在内的数千万核心算力、30余万应用的全面上云。
在经历过去三年的坚实「三步走」之后，今年双11成为阿里全面serverless、深度用云的元年。
另外，今年阿里将自研CPU大规模应用于双11活动，首次实现了芯片、计算架构及操作系统的协同优化，单位算力功耗降低了60%。
最初，阿里下定决心搞自研CPU的起因，也是为了满足计算场景的实际需要。
因为第三方制造商所产出的服务器芯片，并不能很好地与云厂商各自的技术架构相融，只能满足最基础的算力要求，很难提高特定业务及场景的性能。
怎么办？只能自己搞。
于是，平头哥，应运而生。
搞自研芯片，对于阿里而言，看起来只是顺势而行。
2019年，成立仅仅一年的平头哥，发布阿里第一颗芯片「含光800」。
2021年，倚天710正式亮相。无论在性能和能效上均领先全行业。
今年，阿里自研CPU已经实现全面助力双11。
截至目前，阿里已经使用了60多款重点云产品，这些产品支持集团业务在全球多个可用区实现「开箱即用」，不但大幅降低了运维成本，也可实现随时弹性算力资源配置。
阿里CTO程立表示：「从硬件算力提升到基础设施系统层优化，云基础技术释放出巨大的红利，让双11更敏捷、更经济、更绿色。一个全面深度用云、加速技术架构重塑的时代正在到来。」
阿里，站在沉浸式互联网的起点

在过去，我们曾经历了从PC互联网到移动互联网的变迁。
而在天猫双11技术负责人余刚眼里，沉浸式互联网将开启下一个互联网时代，电商、娱乐、社交等线上场景都将被重塑。
现在，我们正站在沉浸式互联网的起点。
而阿里，就誓要抓住这股浪潮，去自我变革。
从上面我们可以看到，天猫已经在紧锣密鼓地启动这个大计划了。
当然，当前的沉浸式体验，也还面临着一些困难。比如，硬件设备的限制、交互方式的变革、内容载体的变革、场景的变革，这些还存在一些瓶颈。
就比如说，现在的VR设备和AR设备还无法给我们完美的沉浸式体验，价格还动辄上千。这就要看，未来几年内硬件厂商会如何改进产品了。
不过，通过这次双11，我们可以看到，阿里已经在很多关键技术上蓄势待发，为我们打开了全新的想象空间。
在天猫，中国的消费者第一次看到了，沉浸式购物在未来可能是什么样子的。
而在未来，我们可以大胆地放飞想象，那时的娱乐、社交、电商等场景，都会发生在线上虚拟空间。我们可以和朋友一起在虚拟空间里看电影、蹦迪、逛街。
三年？五年？也许不会远了。
继续阅读
阅读原文
关键词
场景
设备
内容
算力
算法