上周举办的2024英伟达GTC大会再次掀起了科技界的热潮。英伟达推出全新Blackwell架构芯片平台,同时展示了其在人工智能、深度学习、机器人技术和图形处理领域的最新进展,首款人形机器人模型的亮相也让科技界为之沸腾。作为英伟达每年最重要的技术发布平台之一,GTC被业界公认为“AI风向标”。
今天的文章来自于五源同事的GTC现场手记,我们整理了部分内容,希望对你有所启发:)
   作者
邢曜鹏 五源副总裁
关于Scaling Law
Scaling Law在算力和infra层的天花板仍很高(1000x)。过去的10年,与其说AI模型规模推动算力需求的增长,不如说算力的Scale up在推着AI向前走。回顾Transformer架构的诞生,也是为了让模型能够压缩更大规模的训练数据,适应GPU的并行计算,解决翻译问题。
我们看到这一趋势仍未停止,摩尔定律效应虽然衰减,但是Jensen思考的是怎么总系统角度提升computing power,拥有更大的乘数效应(制程*架构*存储*网络*软件*模型)。我们更应该多花时间去思考,如果未来10年可用算力再提升1000倍,世界会出现哪些重大的变革。
远见、韧性而敏捷的CEO
在GTC得以近距离观察Jensen Huang,可以说是“少数兼具远见以及专注执行的CEO”。老黄从没有把NVIDIA看作卖芯片的硬件公司,摆脱线性思维,永远在思考NV如何推动下一代技术革命,创造全新的市场空间。我们也应该花更多时间,站在Jensen的视角思考真正的大机会,应该看到未来整个计算架构从CPU到加速计算的系统性革命。

他同样韧性且敏捷。每年的GTC,Jensen都会通过技术层面show muscle来展示一些他对远期业务的尝试,这次GTC Jensen也展示了他对AI制药,通用机器人,自动驾驶,Omniverse的未来展望。如CUDA一样,Jensen的很多bet短期都看不到结果,为了坚持甚至承受巨大的压力和痛苦,但依旧敏锐的捕捉新机会,在不断实践和试错中坚持长期正确的方向。
最具启发的会议与展览
World Model:在会场聆听这个世界最聪明的大脑并与他们交流碰撞,充分感受到foundation model已经开始进入物理世界,在未来的10年,语言模型、视频、3D游戏、机器人、自动驾驶,将产生千丝万缕的联系。技术的融合将不断拓展前所未有的场景和产品。
Edge Model:微软VP Sebastien Bubeck关于小模型的TALK,我觉得是全场最具幽默的TALK之一。TALK的主旨“Textbook is all you need”很有意思,如果使用足够好的数据集,1-2bn的小模型依然可以出色完成很多复杂任务。也许在未来,更多参数的模型讲成为小模型的导师,大模型->合成数据->筛选和训练算法->更有效的端侧模型将构造新的迭代飞轮。
等待下一个变革到来
今天NVIDIA已经成为了全球科技行业的摇滚明星,但很少有人关注,这个公司在历史上如同打不死的小强,在列强林立的半导体行业坚韧的生存,很多巨大的趋势变革,早在10-20年前就埋下了种子(Cuda、Alexnet等等),Jensen让这些种子存活下来,生长发芽,直到变革突破临界点。相信在今年GTC不起眼的角落里,又有一颗伟大的种子被种下。投资也是一样,始终保持敏感,保持坚韧,抛弃惯性思维,思考下一个变革的到来。
Los Altos的日出,小鹿,新的生命。
后记&思考
1. 黑洞的外延:Transformer+GPU算力如同黑洞一般吸引大多数AI人才投入Scale up中,哪些重要的工作今天被忽视了?
2. 帝国的裂缝:算力和模型的战争已演化为巨头的权力游戏,巨头的哪些潜力被低估了,哪些机会被严重高估了?
3. 智能的涌现:如同70年代的人无法理解PC机的用途,当智能和算力触手可及时,哪些全新的商业形态会出现?
欢迎聊聊你的看法。
互动送礼
你对于上述三个问题有哪些思考和观点,以及对全文内容有哪些见解。欢迎在评论区分享,我们会选取2位精选留言,送出五源被投产品大礼包一份:)
五源寻找、支持、激励孤独的创业者,为其提供从精神到所有经营运作的支持。我们相信,如果别人眼中疯狂的你,开始被相信,世界将会别开生面。
BEIJING·SHANGHAI·SHENZHEN·HONGKONG
WWW.5YCAP.COM
继续阅读
阅读原文