关注飞总聊IT，了解IT行业的方方面面。
Meta宣布，Llama3的80亿和700亿参数版本发布了。
这款开源的大模型是真的牛逼了。
根据Meta的数据，小一点的8B模型，在MMUL,GPQA,HumanEval等一系列测试中，都超过了Gemma7B和Mistral 7B。
而更牛逼的70B模型，则可以和Claude 3 Sonnet以及谷歌的Gemini Pro 1.5 PK，毫无毛病。
Meta还有一个没开源的400B的，在training中。据说这个400B的更牛逼，和Claude 3 Opus也能干起来，干翻GPT 3.5也是不在话下。至于GPT 4的话，可能还有点距离。
据说训练Llama 3的数据规模达到了15T的token，比之前的版本多了7倍。这就让Llama 3显得尤其牛逼了。
当然，Llama 3 也不是没缺点，上下文窗口长度目前只有8k。不过我估计这也不是什么问题，在Meta的加持下，只是时间问题。
为了训练这个模型，Meta用了两套的24k H100。这是真的有点土豪了。不得不说Meta实在是有钱买显卡啊。一般的公司大概率是不敢这么豪横的。
当然，对于中文社区来说，肯定还是有点遗憾。这个模型的语料里面5%的是非英文，其他的都是英文和代码。总体来说，Llama的中文表现并不是很理想。

总体来说，Meta砸了重金，训练了一个特别牛逼的模型，开源了，可谓土豪菩萨，撒钱贡献开源毫不含糊。

所以在今天股票市场一片大跌的前提下，Meta的股票竟然逆势涨了起来。一度涨幅高达3%。
我们可以这样说，OpenAI是个假的Open，真的OpenAI来自Meta。只有Meta才是新时代大语言模型的活菩萨活雷锋。

小札自从元宇宙搞失败以后，是彻底转型成为AI大语言模型领军人物了。难怪Meta的股价在跌破100以后能如此迅速回到500以上。
我又要讲个鬼故事了。前段时间，Databricks宣布了它家的开源模型DBRX跑分跑了第一。据说训练花了1000万美元。

这个模型还没让Databricks高兴多久，Llama 3这种逆天的大模型就出来了，不知道1000万美元和2套24k的H100比起来，到底算啥呢？
Databricks是不是应该砸3套24k的H100，训练一个DBRX3.0出来，拳打Llama 3，脚踢GPT 4？

我开玩笑了，毕竟土豪是土豪，新贵是新贵，1个T的和43个B的体量，还是不能比的。

Meta的这个开源，是不是又要催生出一堆在Meta架构上训练的，或者微调的，新的大模型了。我们拭目以待。
好巧不巧的，最近发现Snowflake也招了一个微软的人去做大模型了。
不知道Snowflake接下来会讲出什么样的鬼故事来，也不知道这个鬼故事有没有人愿意去听。
我最近写的专栏，讲职场的故事，有兴趣的可以订阅，有很多人说学到了经验，不喜欢的一天内可以退款。
继续阅读
阅读原文