推理AI芯片新贵，挑战英伟达

👆如果您希望可以时常见面，欢迎标星🌟收藏哦~

来源：内容由半导体行业观察（ID：icbank）编译自venturebeat等，谢谢。

在国内AI芯片低调发展之际，西方芯片公司正在高调融资，他们也都无一例外以边缘端为目标，挑战英伟达。

首先是一家总部位于硅谷、生产嵌入式机器学习 (ML) 片上系统 (SoC) 平台的初创公司SiMa.ai日前宣布，已筹集 7000 万美元的延期融资，计划推出第二代芯片组、专为多模式生成人工智能处理而构建，并推向市场。

据 Gartner 预测，到 2027 年，全球支持 AI 的芯片市场预计将比2023 年增长一倍以上，达到 1194 亿美元。然而，只有少数厂商开始生产用于 AI 应用的专用半导体。大多数著名的竞争者最初都专注于支持云中的人工智能。尽管如此，各种报告预测边缘人工智能市场将显着增长，这意味着处理人工智能计算的硬件比集中式云更接近数据收集源。SiMa.ai 以“seema”（印地语中“边界”的意思）命名，致力于通过向工业制造、零售、航空航天、国防、农业和医疗保健领域的组织提供其边缘 AI SoC 来利用这一转变。

这家总部位于圣何塞的初创公司瞄准了 5W 至 25W 能源使用市场，推出了首款 ML SoC，通过集成的软件硬件组合引入 AI 和 ML。这包括其专有芯片组和称为Palette 的无代码软件。SiMa.ai 创始人兼首席执行官 Krishna Rangasayee 告诉 TechCrunch，该组合已被全球 50 多家公司使用。

该初创公司宣称，其当前一代的 ML SoC 在 MLPerf Inference 4.0 封闭、边缘和功率划分类别的 MLPerf 基准测试中提供了最高的 FPS/W 结果。然而，第一代芯片组专注于经典计算机视觉。

随着对 GenAI 的需求不断增长，SiMa.ai 计划于 2025 年第一季度推出第二代 ML SoC，重点为客户提供多模态 GenAI 功能。Rangasayee 表示，新的 SoC 将是对其前身的“革命性改变”，并对现有的 ML 芯片组进行“一些架构调整”。他补充说，基本概念将保持不变。

新的 GenAI SoC 将适应任何框架、网络、模型和传感器——类似于该公司现有的机器学习平台——并且还将与任何模式兼容，包括音频、语音、文本和图像。该初创公司表示，它将作为跨计算机视觉、变压器和多模式 GenAI 的所有人工智能的单边缘平台。

“你无法预测未来，但你可以选择向量并说，嘿，这就是我想押注的向量。我想继续围绕我的向量发展。这就是我们在架构上采取的方法。”Rangasayee 说道。“但从根本上来说，我们确实没有放弃或必须彻底改变我们的架构。这也是我们采用以软件为中心的架构的好处，它可以提供更大的灵活性和敏捷性。”

SiMa.ai 的第一代和第二代 AI 芯片组由台湾台积电 (TSMC) 作为制造合作伙伴，而 Arm Holdings 作为其计算子系统的供应商。第二代芯片组将基于台积电的 6nm 工艺技术，并包括 Synopsys EV74 嵌入式视觉处理器，用于计算机视觉应用中的预处理和后处理。

该初创公司将恩智浦、德州仪器、意法半导体、Renaissance、Microchip Technology、Nvidia 等现有企业以及Hailo等人工智能芯片初创公司视为竞争对手。然而，它认为英伟达是主要竞争对手——就像其他人工智能芯片初创公司一样。

Rangasayee 告诉 TechCrunch，虽然 Nvidia “在云领域表现出色”，但它尚未构建边缘平台。他认为英伟达缺乏足够的能效和边缘人工智能软件。同样，他断言其他构建人工智能芯片组的初创公司并不能解决系统问题，而只是提供机器学习加速。

“在我们所有的同行中，Hailo 做得非常好。并不是我们比他们更好。但从我们的角度来看，我们的价值主张完全不同，”他说。

创始人继续表示，SiMa.ai 比 Hailo 提供更高的性能和更好的能效。他还表示，SiMa.ai的系统软件与GenAI有很大不同，而且非常有效。

“只要我们能够解决客户问题，并且我们比其他任何人都更擅长这方面的工作，我们就处于有利位置，”他说。

SiMa.ai 最新的全股权融资由 Maverick Capital 领投，Point72 和 Jericho 参与，扩大了该初创公司最初于 2022 年 5 月宣布的3000 万美元 B 轮融资。现有投资者包括 Amplify Partners、Dell Technologies Capital、Fidelity Management 和Lip-Bu Tan 也参与了追加投资。通过此次融资，这家成立五年的初创公司总共筹集了 2.7 亿美元。

该公司目前拥有 160 名员工，其中 65 名员工在位于印度班加罗尔的研发中心。SiMa.ai 计划通过增加新职位和扩展研发能力来增加员工数量。它还希望为印度客户建立一支进入市场的团队。此外，该初创公司计划从韩国和日本以及欧洲和美国开始，在全球范围内扩大其面向客户的团队

“生成式人工智能的计算强度引发了数据中心架构的范式转变。这一演变的下一阶段将是人工智能在边缘的广泛采用。正如数据中心发生了彻底变革一样，边缘计算格局也即将发生彻底转变。SiMa.ai 拥有一流的团队、尖端的技术和前进的动力这三大要素，使其成为客户经历这一结构性转变的关键参与者。我们很高兴能与 SiMa.ai 联手抓住这个千载难逢的机会，”Maverick Capital 高级董事总经理 Andrew Homan 在一份声明中表示。

Hailo 融资 1.2 亿美元，并推出首款边缘生成人工智能芯片

几乎同时，一家专门为边缘人工智能工作负载制造计算机芯片的初创公司Hailo Technologies Ltd宣布，已经筹集了另一轮巨额融资。

该公司刚刚完成了 1.2 亿美元的 C 轮延期，由 Zisapel 家族、Gil Agmon、Delek Motors、Alfred Akirov、DCLBA、Vasuki、OurCrowd、Talcar、Comasco、Automotive Equipment 和 Poalim Equity 等现有和新投资者领投。最新一轮融资使其迄今为止筹集的总金额超过 3.4 亿美元。

在本轮融资的同时，这家初创公司还宣布了其芯片阵容的最新成员，推出了 Hailo-10 高性能生成式 AI 加速器，据称该加速器将迎来新一代低延迟 AI 模型，该模型可以在边缘本地运行，无需连接到基于云的服务器。

Hailo 成立于 2017 年，并于 2019 年首次成为头条新闻，当时它推出了一款用于在网络边缘运行深度学习工作负载的定制处理器。该芯片名为 Hailo-8 深度学习芯片，旨在为智能自动驾驶汽车、智能相机、无人机以及增强现实和虚拟现实平台提供动力。它使他们能够在本地运行人工智能，这意味着他们可以比必须连接到远程基于云的服务器更快地处理数据和交付结果。

该初创公司还为开发人员提供软件工具，以构建在其硬件上运行的定制应用程序。此后，该公司在最初的产品基础上，针对不同的人工智能工作负载推出了一系列更强大、更专注的芯片。其最新成员之一是于 2023 年 3 月推出的Hailo-15 处理器系列。Hailo -15 芯片专为视觉 AI 而设计，特别是可以分析本地记录的镜头的智能相机。

最近，它宣布了升级的 Hailo-8 芯片系列，包括新的高端 Hailo Century PCIe 型号，该型号添加了外围组件互连 Express 卡以支持更先进的边缘型号，以及名为 Hailo- 8L 的低端产品，适合入门级使用。

Hailo 芯片系列的最新成员 Hailo-10 是该公司首款专为在网络边缘运行的生成式 AI 工作负载而设计的芯片组。它提供了持续访问生成式人工智能服务的优势，消除了影响许多现有大型语言模型的低延迟问题，同时还通过消除将数据发送到云端的需要来促进更大的隐私。该公司表示，它还有助于保持个性化信息的匿名性，同时通过更高效的机载处理能力增强可持续性。

该初创公司表示，在智能汽车、个人电脑、智能手机和机器人等边缘设备上解锁生成式人工智能，将使用户真正“拥有自己的生成式人工智能体验”，并使它们成为他们生活中不可或缺的一部分。

Hailo 联合创始人兼首席执行官 Orr Danon 表示，Hailo-10 架构旨在以最小的功耗提供最大的性能。“随着边缘人工智能变得身临其境，焦点转向以尽可能小的功率范围（基本上小于五瓦）处理LLM，”他说。

该初创公司表示，Hailo-10 可以使用不到 5 瓦的功率运行开源 Llama2 7B 模型，每秒最多可处理 10 个代币。此外，当使用具有相同功率包络的 Stability AI Ltd. 流行的 Stable Diffusion 2.1 图像生成模型时，每张图像的额定速度不到五秒。

据 Hailo 介绍，Hailo-10 每秒最多可提供 40 tera 运算，这代表了基于边缘的 AI 加速器的新标准。根据已发布的基准测试，它比集成神经处理单元更快、更节能，其性能至少是英特尔公司 Core Ultra NPU 的两倍。

该初创公司表示，它预计 Hailo-10 生成式人工智能加速器将部署在个人电脑和汽车信息娱乐系统中，取代此类系统中广泛使用的现有中央处理单元。这些 CPU 无法支持聊天机器人、个人助理、副驾驶和类似的人工智能应用程序，这意味着这些类型的应用程序始终必须连接到云，从而导致较低的延迟和较低的性能。该初创公司表示，Hailo-10 有望改变这一现状，其高性能可提供几乎即时的响应。

该公司将于第二季度开始运送 Hailo-10 生成式人工智能加速器的样品，因此我们预计将在今年年底看到它们出现在现实世界中。

“无论用户使用生成式人工智能来自动化实时翻译或摘要服务、生成软件代码，还是根据文本提示生成图像和视频，Hailo-10 都可以让他们直接在 PC 或其他边缘系统上完成这些操作，而不会增加 CPU 压力或耗尽资源电池，”Danon说。

Danon表示，新筹集的资金将帮助该初创公司利用其管道中的众多机会，并为其长期增长奠定基础。其使命是加速边缘的经典和生成人工智能服务，将技术扩展到更多用户。

点这里👆加关注，锁定更多原创内容

END

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。