新智元报道  

编辑：编辑部
【新智元导读】GPT-4o一上线，大批初创公司又要面临倒闭了。全网网友实测后惊呼：这推理速度是碾压版的升级！然而马斯克、Karpathy、Meta研究者等一众大佬唱衰道：OpenAI不过如此，无非就是发布了一个在同一神经网络中结合文本-音频-视频三种模态并同时处理的模型。
OpenAI一夜之间，又干掉了一大批初创公司。
官方公布的全能模型GPT-4o的炸裂演示，即便过去了一天，依旧让全网深陷其中，无法自拔。
凭借实时语音视频对话，GPT-4o已经深入教育、翻译、视频会议等领域的变革。
OpenAI科学家Lilian Weng称，自己这次的日本之行，就用到了ChatGPT的实时翻译能力，比如翻译与寿司厨师对话，或在纪念品商店识别解释不同类型岩石。
目前，一些用户已经灰度测试到了GPT-4o，纷纷开启了测试。
一大波演示来袭
瞧好了，科幻版Her，正走进现实。
两个AI自主交流，解决客服索赔
ChatGPT可能最先抢走的工作，就是客服。
OpenAI研究科学家Joe Beutler放出了，全新的GPT-4o提供客户服务支持的有趣演示。
一起看看两个AI智能体，如何解决了客服索赔。
与客户合作构建变革性解决方案总能让我备受鼓舞。我们可以利用这一最先进模型构建的潜在解决方案，令我兴奋不已！
视频中，两个AI自主交流了起来，全程不用人类参与，就把问题解决了。
OpenAI联创Greg也转发了这个经典示例。
还有网友表示，准备让GPT-4o代替自己谈判所有的账单。

18世纪手写稿，一键转录

网友翻出18世纪的手写稿，让GPT-4o再转写一份。
在下图右边回应中，GPT-4o成功将这份笔迹识别出来，不过还是会有一些小错误。

成为盲人的「眼睛」

在另一个OpenAI官方用例中，与Be My Eyes合作，为盲人提供实时助手。
在这个1分钟演示视频中，展示了GPT-4o强大到足以让人震撼。
男主人公通过ChatGPT识别建筑物，并讲解了国旗上的国徽代表着什么。
当他走到湖前，ChatGPT非常悉心地讲解了，湖水中的鸭子们在游来游去，不慌不忙悠闲自在，有的还在嬉戏打闹，有的在寻找食物......
最后，盲人借助ChatGPT的「眼睛」，打到了回家的车。
有网友将其称之为，GPT-4o最好的用例。它将为每个人改变世界，甚至它将为视障人士创造一个全新的世界。

GPT-4o输出速度碾压GPT-4

还有网友测试对比了，GPT-4o和GPT-4针对同一问题的输出，吞吐量有多快。
如下的对比，一眼明了。

GPT-4o+函数调用

将GPT-4o与函数调用结合起来用，更是让人炸脑。
下面案例中，将一张错误的图片上传之后，GPT-4o主打分析，然后函数调用工具便会搜索可能修复方法。

构建Karpathy大模型OS

网友Ashpreet Bedi利用GPT-4o，去构建了Karpathy曾提出的LLM OS，没想到运行速度，非常炸裂。
他还将代码放了出来，以供大家自行操作。
GitHub地址：https://github.com/phidatahq/phidata/tree/main/cookbook/llm_os

中国小姐姐谈赛博恋爱

GPT Store上线之后，各种铺天盖地的定制AI女友几乎将其淹没。
网友已经开始整活了
甚至，与AI女友相关的应用，直接成为ChatGPT商城上线首周中，最热门的应用。
而现在，有了GPT-4o加持的ChatGPT，谈一场赛博恋爱更是恰到好处。
这不，抖音小姐姐「午夜狂暴哈士奇狗」在GPT-4o还没放出之前，已经开启了与ChatGPT谈一场甜甜的恋爱。
下面视频中，他们准备要去海边约会去看落日，视频中小姐姐还专门化了美美的妆。
而ChatGPT谈情说爱的本领，让人听了瞬间肉麻。
视频传送门：https://v.douyin.com/i2QRdYET/
之前版本的ChatGPT还不能看到小姐姐美美的妆容、海边的景色....
而现在GPT-4o升级后的版本，能够识别表情和情绪，都不敢想象究竟有多强。

复刻「精灵宝可梦」

GPT-4o还可以完美地复刻了任天堂的游戏——宝可梦红（Pokémon Red）。
未来的游戏设计，就交由AI来做。
制作演示的网友表示，过去他曾用Claude Opus耗费大把时间，才做出一个勉强可以运行的同款游戏。
而其他的模型，就更菜了，几乎无法画出一个画面。
如下演示中，GPT-4o就...直接玩起了这个游戏。
它在终端的设计，细节非常准确，可以精准绘制地图，并模拟战斗。
Jim Fan预测全押中了
虽然OpenAI的这波更新在我们看来非常炸裂，但其实英雄所见略同，Jim Fan大佬表示「我早就说过应该这么干」。
在昨天发布会召开之前，他就发布了一篇推文，深入浅出地讲解了实时语音助手的技术路径，基本可以当作OpenAI技术报告的大纲了。
推文中首先表示，几乎所有的语音AI都需要经过3个阶段的推理——语音识别、LLM和语音合成。
然而，如果只是非常简单地把三种模型集成在一起，每次回答问题就会有接近5秒的延迟时间，这会造成用户体验断崖级的下降，无法打造「沉浸式对话」。
要想解决延迟问题、打造实时语音AI，就不能仅仅考虑三个子模型的加速，还需要重新考虑整个pipeline，让各个阶段尽可能重叠在一起，就像人类对话时都是一边听一边构思怎么说。
用一句话总结就是，「端到端模型总能胜出。」
不仅如此，发布会上展示的ChatGPT新特性，也都被Jim Fan一一点到，比如适时插入语气词、处理对话中的「打断」等等，简直是一波「神预言」。
OpenAI究竟强在哪里？
有意思的是，GPT-4o放出后，坊间也同时出现了一些唱衰OpenAI的声音。
有人说，这次放出的不是GPT-5，也不是搜索，其实就代表着OpenAI的倒退。
马斯克则嘲讽道，这些AI聊天的速度也太慢了吧。
此外，Andrej Karpathy大佬也用十分平静的语气给出技术总结，得到了马斯克的附议：
「他们发布的是一个在同一神经网络中结合文本-音频-视频三种模态并同时处理的模型，仅此而已。」
这就引起了网友们的讨论：究竟是谁，在这里淡化OpenAI做的事？
不可否认的是，OpenAI让《Her》中的Samantha成真了，这绝对是一件意义重大的事。
这位网友表示，「这是我见过的最令人惊奇的技术，那些失望的人大概本来是盼着ASI的吧。」
AI开发者Benjamin De Kraker表示，这种能听说能看还能推理的「虚拟人」，跟人都没区别，这不就是AGI吗？
对OpenAI感到不服的人，还有其他一些业内人士，比如沃顿商学院AI方向的教授Ethan Mollick，他表示：「GPT-4o并不是巨大的飞跃」。
还有一位Meta的研究科学家表示，OpenAI的GPT-4o技术没什么大不了的，在2个月内，开源领域就会有人开始预训练类似GPT-4o的模型了。包括他在内的研究者，都在加班加点地进行这项研究。
据他透露，Meta虽然暂时落后，但跟GPT-4推出时相比，他们其实离OpenAI更近了。
原因在于，他们已经构建了可扩展、与多模态一致的架构，以及关于如何训练这些模型的知识，而最重要的是，在这个研究领域，他们拥有除OpenAI以外最强大的团队。
而在过去两年中，这位研究者所在的团队一直致力于为早期融合、多模态token-in-token-out方法奠定基础。
在这方面，Meta也是发表了多篇论文。包括最初的CM3论文，到MM-scaling law，再到CM3Leon，除了已发表的六篇论文，还有几篇即将出版。
其实，这位老哥之所以着急澄清，也是因为被这位Teortaxes大V的言论逼急了。
在Teortaxes看来，Meta和OpenAI之间的差距是越来越大了。
虽然Armen在前几天就放消息说，Meta预训练的早期融合多模态模型已经获得了成功（甚至核心突破在2023年12月就已经实现了），可OpenAI的GPT-4o，都已经作为产品落地了啊，更何况还是给每个人免费可用。
看衰老一辈科技巨头的绝不止Teortaxes一个人，知名咨询公司Gartner副总裁 Chirag Dekate在接受Ventur Beat采访时表示，他认为Meta、谷歌等公司和OpenAI之间的「能力差距」越来越大了。
博主「i陆三金」总结道，其实OpenAI最被低估的，就是产品能力。
前有Sora，今有GPT-4o，能把一堆显而易见的技术打造成一个亮眼的产品，业内目前有这种实力的，OpenAI是无出其右。
看起来，这些产品背后的技术，如DiT、ViT、VAE或端到端的文本、视觉、音频模型，并不罕见。但唯有OpenAI，真正做出了产品。
参考资料：
https://x.com/Gorden_Sun/status/1790201278070689799
https://x.com/SmokeAwayyy/status/1790146421355843992
https://x.com/tuturetom/status/1790186661948883295
https://x.com/gdb/status/1790177196075864100
https://x.com/gdb/status/1790195202214572399
https://x.com/FinanceYF5/status/1790197126330482963
https://twitter.com/DrJimFan/status/1789695374963491139
继续阅读
阅读原文
关键词
模型
GPT-4
语音
技术
问题