机器之心报道
机器之心编辑部
文生 3D 模型又来新玩家。
随着生成式 AI 的浪潮席卷而来，科技公司都在冲击 AIGC 的下一个突破口 —— 3D 生成。
目前，文生 3D 在学术界取得了许多新突破。在产业界，无论是像英伟达这样的行业巨头，还是像 Stability AI 这样的中坚力量，都推出了自己的文生 3D 工具。虽然 3D 生成领域一直「卷」到飞起，但是好像一直没有出现一款效果足够惊艳，生成速度足够快的代表性产品。
如今，一直致力于 3D 内容生产的 Luma AI 向这一领域发起了挑战。就在昨天，Luma AI 发布了一个文生 3D 模型的项目 —— Genie 1.0。只需要输入一句文字提示，Genie 1.0 就能在 10 秒内生成四个高保真的 3D 模型。用户可以从中选择，并在三维网格界面内对模型的纹理进行编辑。
这些 AI 生成的 3D 模型可以在屏幕上预览，也可以导出到 Blender、 Unity 等工具中进一步使用，直接加入动画、游戏、VR 等工作流中。
Genie 1.0 不仅有网页版，在 discord 平台和手机端都可以试玩。一经发布，慕名而来的网友们就把 Genie 1.0 冲上了 App Store 下载榜前列。
试用地址：https://lumalabs.ai/genie?view=create
效果有多惊艳，一起来看看。
简单输入提示「flower cat」，再等待几秒，四只身上带有不同花纹图案的猫咪就出现了。想要什么手办，AI 直接送上精美的盲盒版本，一次输入，能抽四次，怎么算都很赚。
泡泡玛特风格这么可爱的手办，也能安排。想要什么隐藏款，AI 版本实现量产。
文生 3D 中的难题，毛发和物体表面的花纹，Genie 1.0 也有令人惊艳的表现。它生成的熊猫能看得到毛茸茸的质感，衣服上的纹样也没有出现明显的失真。

推特 @lintworld
如果《星球大战》出 3D 动画版本，直接使用这只 Genie 1.0 生成的「尤达大师」好像也没什么问题。

推特 @blizaine
和其他 3D 模型对比，Luma AI 的表现在立体度和真实感方面，也能拔得头筹。

推特 @taziku_co
除了生成效果惊艳，Genie 1.0 还有编辑功能。拆掉了原来的专业门槛，告别贴素材，修改 3D 模型的材质可以像用手机 P 图一样简单。
Genie 1.0 提供了「原始」、「光滑」和「反光」三种质感，点击页面右侧的圆形按钮即可切换。还可以按照需要导出不同清晰度和格式的模型，与其他 3D 编辑软件无缝对接。
以往，批量设计 3D 模型往往需要花费数天，虽然目前市面上已经有很多 AIGC 工具把 3D 设计的时间缩短到只需几小时甚至更短。但 Genie 1.0 已经把人们加工的时间压缩到了 2 分钟。
已经有 3D 设计师表示把 Genie 1.0 生成的模型导入 3D 动画软件 Maya，因为 AI 生成的模型质量很高，纹理坐标（UVs）很合适，只有几个小块有重叠，花 2 分钟小调一下，就直接可用，体验一流。
在动画软件中加上几个动作锚点，3D 动画就这么制作好了。
推特 @taziku_co
在此基础上稍加编辑，静态的模型模型瞬间大秀机械舞，带来十几秒的连贯表演。
推特 @paradoxrenders
转化成游戏动画，也进化成了速通版本，只需要打字就能生成游戏角色动画可能也不再是梦。
其中的模型基础由 Genie 生成，源自 YouTube@OlliHuttunen78
虽然 Genie 1.0 还未完全克服 AI 生成的 3D 模型往往比较模糊这个问题的「最后一公里」。但在引入 Magnific ai 来提升分辨率之后，卡车轮胎上的花纹、排气管的褶皱，连接零件的电线都被勾勒出了清晰的细节，和真实世界中的卡车摆件没什么分别。
推特 @MartinNebelong
Genie 1.0 能做到的正好直击了 3D 设计的痛点，传统的 3D 建模过程通常较为繁琐，往往需要大量专业人员的手工操作，这不仅导致制作周期延长，同时也增加了整体成本。进入动画、游戏、VR 等进一步设计流程后，建模还需进一步调整和修改，设计成本又将成倍上升。
也许正如 Luma AI 创始人 Amit Jain 所说：「借助 Genie，运用 AI 大规模制作 3D 物品或许将不再只是幻想。」
在 Genie 的加持下，即使不会 3D 建模和绘画设计，但有一个涉及 3D 图形或 3D 场景的想法，你都可以让它像精灵一样实现你任何的想法。
目前，Genie 既有免费版，也有付费 API。付费界面每次需要花费 1 美元。该公司指出，这比依靠人类设计师更便宜、更快捷。
Luma AI 公司介绍
推出 Genie1.0 的 Luma AI 是一家生成式人工智能初创公司，该公司一直致力于 3D 内容方案，主要产品和功能包括图片转 3D、视频转 3D、文本转 3D 等。
这家公司成立于 2021 年，首席执行官 Amit Jain 曾是苹果公司的计算机视觉系统工程师，首席技术官 Alex Yu 曾是加州大学伯克利分校的研究生（放弃博士学业创办了 Luma AI ）。二人在 3D 视觉、机器学习、实时图形学等领域都有所建树。
这家公司已经经历了数轮融资，其中在由 Amplify Partners、Nventures（Nvidia 投资部门）和 General Catalyst 领投的 A 轮融资中筹集了 2000 万美元，在由硅谷顶级风投公司 Andreessen Horowitz、英伟达领投的 B 轮融资中筹集了 4300 万美元。截至目前，公司共融资 7000 多万美元，估值在 2 亿到 3 亿美元之间。
就其产品而言，不同于文本转图像模型所产出的数字艺术平面位图，Luma AI 利用 AI 从照片、视频或文字描述中创建物体的 3D 模型，这些模型可以根据需要被下载、操作、编辑和渲染。
去年 11 月，Luma AI 在 Discord 服务器上推出了文生 3D 模型 Genie。这次的 1.0 版本，把出图时间从 20 多秒提升到了 10 秒之内。
Luma AI 的核心技术是神经辐射场（NeRF）算法。Luma AI 基于 NeRF 做了很多改进和优化。在场景图像获取、数据预处理、模型训练、模型渲染及其他模型文件的生成等方面，Luma AI 均做了很多优化工作。在此基础上，技术更高超的人类艺术家可以高效地制作更好的模型。此外，Genie 的输出或许也能满足一些人的特定生产需求。
同日，Luma AI 还官宣了三位新成员，其中首席科学家宋佳铭（Jiaming Song）将领导基础模型研究团队。他本科毕业于清华大学，硕博毕业于斯坦福大学。在加入 Luma AI 之前，他曾担任英伟达学习和感知（Learning and Perception）研究团队和深度想象（Deep Imagination）研究团队的研究科学家。
另外，加州大学伯克利分校博士 Matthew Tancik 将领导应用研究团队，来自苹果设计工作室的 Tuhin Kumar 领导界面、交互和产品设计团队。
参考链接：
https://techcrunch.com/2024/01/09/luma-raises-43m-to-build-ai-that-crafts-3d-models/
https://twitter.com/LumaLabsAI/status/1744778363330535860
https://www.theregister.com/2024/01/10/textto3d_image_startup_luma/
© THE END 
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
继续阅读
阅读原文