↑点击上方蓝色字关注硅谷高创会~
OpenAI不可战胜的神话，已经被打破了。
随着Claude 3一夜登陆，榜单性能跑分全面超越GPT-4，成为首个全面超越GPT-4的产品，也坐上了全球最强大模型新王座。
该系列包含三个模型，按能力由弱到强排列分别是 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。其中，能力最强的 Opus 在多项基准测试中得分都超过了 GPT-4 和 Gemini 1.0 Ultra，在数学、编程、多语言理解、视觉等多个维度树立了新的行业基准。
Anthropic 表示，Claude 3 Opus 拥有人类本科生水平的知识。
（图源网络）
在新模型发布后，Claude 首次带来了对多模态能力的支持（Opus 版本的 MMMU 得分为 59.4%，超过 GPT-4V，与 Gemini  1.0 Ultra 持平）。用户现在可以上传照片、图表、文档和其他类型的非结构化数据，让 AI 进行分析和解答。
此外，这三个模型也延续了 Claude 系列模型的传统强项 —— 长上下文窗口。其初始阶段支持 200K token 上下文窗口，不过，Anthropic 表示，三者都支持 100 万 token 的上下文输入（向特定客户开放），这大约是英文版《白鲸》或《哈利・波特与死亡圣器》的长度。
（图源网络）
01

第一手实测Claude3

地址：https://claude.ai/

Claude 3 是否真的像官方所宣称的那样，性能全面超越了 GPT-4？目前大多数人认为，确实有那么点意思。
以下是部分实测效果：
首先来一个脑筋急转弯，哪一个月有二十八天？实际正确答案是每个月都有。看来 Claude 3 还不擅长做这种题。
（图源网络）
接着我们又测试了一下 Claude 3 比较擅长的领域，从官方介绍可以看出 Claude 擅长「理解和处理图像」，包括从图像中提取文本、将 UI 转换为前端代码、理解复杂的方程、转录手写笔记等。
对于大模型来说，经常分不清炸鸡和泰迪，当我们输入一张含有泰迪和炸鸡的图片时，Claude 3 给出了这样的答案「这张图片是一组拼贴画，包含狗和炸鸡块或鸡块，它们与狗本身有着惊人的相似之处……」，这一题算过关。
（图源网络）
Claude 3 可以从照片中提取文本，即使是中文、日文的竖行顺序也可以正确识别：
（图源网络）
如果我用网上的梗图，它又要如何应对？有关视觉误差的图片，GPT-4 和 Claude3 给出了相反的猜测：
（图源网络）
除了理解图像外，Claude 处理长文本的能力也比较强，此次发布的全系列大模型可提供 200k 上下文窗口，并接受超过 100 万 token 输入。
效果如何呢？我们丢给它微软、国科大新出不久的论文《 The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits 》，让它按照 1、2、3 的方式总结文章要点，我们记录了一下时间，输出整体答案的时间大概有 15 秒左右。
（图源网络）
值得注意的是，现在 Claude 要求上传的文章大小不超过 10MB，超过会有提示。
在 Claude 3 的博客中，Anthropic 提出新模型的代码能力有大幅提升，有人直接拿基础 ASCII 码丢给 Claude，结果发现它毫无压力：
（图源网络）
我们应该可以确认，Claude 3 有比 GPT-4 更强的代码能力。
前段时间，刚刚从 OpenAI 离职的 Karpathy 提出过一个「分词器」挑战。具体来说，就是将他录制的 2 小时 13 分的教程视频放进 LLM，让其翻译为关于分词器的书籍章节或博客文章的格式。
面对这项任务，Claude 3 接住了，以下是 AnthropicAI 研究工程师 Emmanuel Ameisen 晒出的结果：
或许是不再利益相关，Karpathy 给出了比较充分、客观的评价：
从风格上看，确实相当不错！如果仔细观察，会发现一些微妙的问题 / 幻觉。不管怎么说，这个几乎现成就能使用的系统还是令人印象深刻的。我很期待能多玩 Claude 3，它看起来是一个强大的模型。
如果说有什么相关的事情我必须说出来的话，那就是人们在进行评估比较时应该格外小心，这不仅是因为评估结果本身比你想象的要糟糕，还因为许多评估结果都以未定义的方式被过拟合了，还因为所做的比较可能是误导性的。GPT-4 的编码率（HumanEval）不是 67%。每当我看到这种比较被用来代替编码性能时，我的眼角就会开始抽搐。
根据以上各种刁钻的测试结果，有人已经喊出「Anthropic is so back」了。
最后，anthropic 还推出了一个包含多个方向提示内容的 prompt 库。如果你想要深入了解 Claude 3 的新功能，可以尝试一下。
（图源网络）
02

Claude 3 系列模型

Claude 3 系列模型的三个版本分别是 Claude 3 Opus、Claude 3 Sonnet 和 Claude 3 Haiku。
（图源网络）
其中 Claude 3 Opus 是智能程度最高的模型，支持 200k tokens 上下文窗口，在高度复杂的任务上实现了当前 SOTA 的性能。该模型能够以绝佳的流畅度和人类水平的理解能力来处理开放式 prompt 和未见过的场景。Claude 3 Opus 向我们展示了生成式 AI 可能达到的极限。
（图源网络）
Claude 3 Sonnet 在智能程度与运行速度之间实现了理想的平衡，尤其是对于企业工作负载而言。与同类模型相比，它以更低的成本提供了强大的性能，并专为大规模 AI 部署中的高耐用性而设计。Claude 3 Sonnet 支持的上下文窗口为 200k tokens。
（图源网络）
Claude 3 Haiku 是速度最快、最紧凑的模型，具有近乎实时的响应能力。有趣的是，它支持的上下文窗口同样是 200k。该模型能够以无与伦比的速度回答简单的查询和请求，用户通过它可以构建模仿人类交互的无缝 AI 体验。
（图源网络）
03

全面超越 GPT-4

实现智能水平新 SOTA

作为 Claude 3 系列中智能水平最高的模型，Opus 在 AI 系统的大多数评估基准上都优于竞品，包括本科水平专家知识（MMLU）、研究生水平专家推理（GPQA） 、基础数学（GSM8K）等基准。并且，Opus 在复杂任务上表现出接近人类水平的理解力和流畅度，引领通用智能的前沿。
此外，包括 Opus 在内，所有 Claude 3 系列模型都在分析和预测、细致内容创建、代码生成以及西班牙语、日语和法语等非英语语言对话方面实现了能力增强。
下图为 Claude 3 模型与竞品模型在多个性能基准上的比较，可以看到，最强的 Opus 全面优于 OpenAI 的 GPT-4。
（图源网络）
近乎实时响应
Claude 3 模型可以支持实时客户聊天、自动补充和数据提取等响应必须立即且实时的任务。
Haiku 是智能类别市场上速度最快且最具成本效益的型号。它可以在不到三秒的时间内读完一篇包含密集图表和图形信息的 arXiv 平台论文（约 10k tokens）。
对于绝大多数工作，Sonnet 的速度比 Claude 2 和 Claude 2.1 快 2 倍，且智能水平更高。它擅长执行需要快速响应的任务，例如知识检索或销售自动化。Opus 的速度与 Claude 2 和 2.1 相似，但智能水平更高。
强大的视觉能力 
Claude 3 具有与其他头部模型相当的复杂视觉功能。它们可以处理各种视觉格式数据，包括照片、图表、图形和技术图表。
Anthropic 表示，它们的一些客户 50% 以上的知识库以各种数据格式进行编程，例如 PDF、流程图或演示幻灯片。因此，新模型强大的视觉能力非常有帮助。
（图源网络）
更少拒绝回复
以前的 Claude 模型经常做出不必要的拒绝，这表明模型缺乏语境理解。Anthropic 在这一领域取得了有意义的进展：与前几代模型相比，即使用户 prompt 接近系统底线，Opus、Sonnet 和 Haiku 拒绝回答的可能性明显降低。如下所示，Claude 3 模型对请求表现出更细致的理解，能够识别真正的有害 prompt，并且拒绝回答无害 prompt 的频率要少得多。
（图源网络）
准确率提高
为了评估模型的准确率，Anthropic 使用了大量复杂的、事实性问题来解决当前模型中的已知弱点。Anthropic 将答案分为正确答案、错误答案（或幻觉）和不确定性回答，也就是模型不知道答案，而不是提供不正确的信息。与 Claude 2.1 相比，Opus 在这些具有挑战性的开放式问题上的准确性（或正确答案）提高了一倍，同时也减少了错误回答。
（图源网络）
长上下文和近乎完美的召回能力
Claude 3 系列型号在发布时最初将提供 200K 上下文窗口。然而，官方表示所有三种模型都能够接收超过 100 万 token 的输入，此能力会被提供给需要增强处理能力的特定用户。
为了有效地处理长上下文提示，模型需要强大的召回能力。Needle In A Haystack（NIAH）评估衡量模型可以从大量数据中准确回忆信息的能力。Anthropic 通过在每个提示中使用 30 个随机 Needle/question 对在不同的众包文档库上进行测试，增强了该基准的稳健性。Claude 3 Opus 不仅实现了近乎完美的召回率，超过 99% 的准确率。而且在某些情况下，它甚至识别出了评估本身的局限性，意识到「针」句子似乎是人为插入到原始文本中的。
（图源网络）
安全易用
Anthropic 表示，其已建立专门团队来跟踪和减少安全风险。该公司也在开发 Constitutional AI 等方法来提高模型的安全性和透明度，并减轻新模式可能引发的隐私问题。
在使用体验上，Claude 3 比以往模型更加擅长遵循复杂的多步骤指令，更加可以遵守品牌和响应准则，从而可以更好地开发可信赖的应用。此外，Anthropic 表示 Claude 3 模型现在更擅长以 JSON 等格式生成流行的结构化输出，从而可以更轻松地指导 Claude 进行自然语言分类和情感分析等用例。
从目前的评测基准和体验看来，Claude 3 在智能水平、多模态能力和速度上都取得了长足的进步。随着新系列模型的进一步优化和应用，我们或许将看到更加多元化的大模型生态。
参考内容：https://www.cnbc.com/2024/03/04/google-backed-anthropic-debuts-claude-3-its-most-powerful-chatbot-yet.html
https://www.aboutamazon.com/news/aws/amazon-bedrock-anthropic-ai-claude-3
由工信部工业文化发展中心工业强国主办，硅谷高创会承办的“尚工”行动企业家培育第二期将前往深圳，走进比亚迪，探访新能源标杆企业，深入了解新能源车企、智能制造行业发展趋势和市场需求，成为【工信部工业强国“尚工”行动企业家班的校友】，拓展行业上下游人脉，抢占市场，此外还有硅谷高创会一站式服务赋能，提供商务对接，促成合作。
扫码即可报名：
硅谷高创会将于2024年4月29日—5月7日带领企业家/青年领袖前往奥马哈，亲临“投资界春晚”，与全球5万投资者齐聚奥马哈，与股神巴菲特面对面！
参与本次商务考察团，就能与巴菲特公司的股东、合作伙伴、全球顶级投资机构、全球顶级对冲基金、银行家、VC/PE机构和高净值精英、企业家交流，撬动几百万几千万甚至亿级的资源！更有机会与股神巴菲特面对面提问，获得股神亲自解答！
期待更多的优秀企业家、投资人、创业者加入硅谷高创会的巴菲特股东大会创新交流之旅。美国作为发达国家，金融行业不容忽视，这也让众多的企业家们选择商务考察，寻求合作的机会，参与本次训练营，让您全面认识金融市场，审视未来机遇和发展路径，并深入了解未来的经济动向。
点击蓝字链接或者扫码即可报名/咨询：
硅谷高创会出品：巴菲特股东大会VIP团，投资界年度“朝圣”盛典，硅谷-奥马哈-纽约三地深度考察

来源：机器之心公众号
End
联系我们>>
｜点击关注我们 👇 记得星标｜
“专精特新”报名及合作事宜>>
工业和信息化部工业文化发展中心主办，北京高创汇智科技有限公司承办，北京大兴国际机场临空经济区管理委员会联合承办，北京大兴区投资促进服务中心支持，共同开展的“专精特新”企业创新特训营第一期在北京大兴成功举办！

欢迎各位朋友扫码添加工作人员微信（备注专精特新合作/报名），报名下一期“专精特新”企业创新特训营或成为城市事业合伙人。
继续阅读
阅读原文