机器之心原创
作者；蛋酱
相比于造一个 ChatGPT，这个开源平台更想成为「大模型时代的 Linux」。
2022 年末，ChatGPT 横空出世，成为人工智能领域的又一里程碑事件。业内人士曾预言，这可能是 AI 大模型的「iPhone 诞生时刻」。
作为前沿 AI 技术的集大成者，ChatGPT 引得海内外众多科技公司跟进。但是做出对标 ChatGPT 的产品谈何容易，无论算力、数据、人才还是研发投入，并不是每家企业都具备充分的实力。特别是对于一部分中小企业来说，自身虽然拥有丰富的行业知识和数据，但缺少大模型相关的技术沉淀，以至于有人指出「AI 大模型只是大公司的游戏」。
国产 AI 大模型攻关之路，最难的点在哪里？中小企业和开发者们想要入局 AI 大模型，到底需要哪些能力？有无通关捷径？
智源研究院院长黄铁军指出，大模型时代需要的是「真正」的开源。这种开源不是受到企业影响较大的开源（譬如 Android），而是像 Linux、RISC-V 和 2022 年完全转入开源社区的 PyTorch 那样，完全发展于开源社区的「大家」的开源。
当下的中国 AI 大模型生态建设，正在呼唤一个全面的、开源的技术体系。
智源研究院与多家企业、高校和科研机构共同开发出了 FlagOpen（飞智）大模型技术开源体系，旨在打造全面支撑大模型技术发展的开源算法体系和一站式基础软件平台，支持协同创新和开放竞争，共建共享大模型时代的「新 Linux」开源开放生态。
算法、模型、数据、工具、评测
一站式开源大模型技术体系
FlagOpen（飞智）是一站式、高质量的大模型开源开放软件体系，包括大模型算法、模型、数据、工具、评测等重要组成部分。
FlagOpen 开源平台入口：https://flagopen.baai.ac.cn
FlagOpen 的核心部分是 FlagAI，这个开源项目涵盖了大模型算法、模型及各种优化工具。
项目地址：https://github.com/FlagAI-Open/FlagAI
FlagAI 不仅集成了全球各种主流大模型算法技术，还包括多种大模型并行处理和训练加速技术，支持高效训练和微调。项目涵盖了多个领域明星模型，如语言大模型 OPT、T5，视觉大模型 ViT、Swin Transformer，多模态大模型 CLIP 等。
作为 FlagOpen 的牵头发起者，智源研究院也持续将「悟道」大模型项目成果开源至 FlagAI，包括「悟道 2.0」通用语言大模型 GLM，「悟道 3.0」视觉预训练大模型 EVA，视觉通用多任务模型 Painter，文生图大模型 AltDiffusion（多语言），文图表征预训练大模型（多语言）、EVA-CLIP（英文），阿拉伯语大模型 ALM，百亿语言基础模型 CPM3 等。
目前，FlagAI 已经加入 Linux 基金会，希望吸引全球科研力量对大模型技术共同创新、共同贡献。
与主攻算法开源的其他技术社区不同，FlagOpen 平台还围绕大模型创新的各个方面，提供了 AI 异构芯片基准测试、模型评测、数据处理等配套开源工具，包括：
  • FlagPerf：面向多种 AI 硬件的一体化评测引擎。探索开源、开放、灵活、公正、客观的 AI 硬件评测体系，建立支持多种深度学习框架、最新主流模型评测需求、易于 AI 芯片厂商插入底层支撑工具的 AI 系统评测生态。不以排名为核心目标，以提供行业价值、促进 AI 产业生态发展为愿景；
  • FlagEval：多领域、多维度的基础大模型评测开源项目。探索大模型自动评测技术，推动大模型技术创新和产业应用。首先开放了近期备受关注的多模态领域 - CLIP 系列模型评测工具，支持多语言多任务、开箱即用。更多领域、更多维度的评测工具将陆续发布；
  • FlagData：开箱即用、易于扩展的数据工具开源项目。包含清洗、标注、压缩、统计分析等功能在内的多个数据处理工具与算法，为自然语言处理、计算机视觉等领域的模型训练与部署提供了数据层面的有力支撑；
  • FlagStudio：智源研究院应用文生图、文生音乐等人工智能模型支持艺术创作相关的开源项目集合。利用图文、声文等多模态模型，依托研究院在 NLP 和 CV 领域大模型的研究基础，为艺术创作提供更加符合中文场景的人工智能开源算法和模型，使创作效率更加高效，创作空间更加开阔，创作成果更加细腻；
  • FlagBoot：基于 Scala 开发的轻量级高并发微服务框架。FlagBoot 框架是默认完全异步的，微服务处理任何一个 API 都是完全异步执行的，帮助开发者对异步线程控制进行性能良好的统一管理。FlagBoot 中没有宏、隐式转换等晦涩难懂的代码，再加上 FlagBoot 的代码量极少，使得开发者能够轻易地了解 FlagBoot 的逻辑，并进行自定义的修改。
基于 FlagOpen，国内外开发者可以快速开启各种大模型的尝试、开发和研究工作，企业可以低门槛进行大模型研发。同时，FlagOpen 大模型基础软件开源体系正逐步实现对多种深度学习框架、多种 AI 芯片的完整支持，支撑 AI 大模型软硬件生态的百花齐放。
目前，FlagOpen 大模型技术开源体系也正在与 Linux 基金会等全球开源代表组织与机构积极合作，加快建设面向全球的大模型技术开源生态。
大模型时代的「Linux」
说到 Linux 在互联网时代的开创性意义，很多人都能领会。打造大模型时代的「Linux」，又意味着什么？智源研究院在其中担任何种角色？
这就要从大模型的发展历程开始说起。2020 年，OpenAI 发布了基于 Transformer 的 1750 亿参数「GPT-3」，让人们领略了「大模型」的魅力。后来的这几年，海外的顶尖学术机构和业界实验室争相入局，造出了 Switch Transformer、威震天 - 图灵、PaLM、Gato 等知名大模型。
在国内的 AI 领域，智源研究院是最早投入研发「大模型」的学术机构，是国内大模型研究的先行者。从 2020 年搭建大模型攻关团队，到 2021 年 6 月推出当时规模最大、性能领先的大模型「悟道 2.0」，再到今天的在多模态领域能力全线领先的「悟道 3.0」，智源研究院预见并见证了从「大炼模型」」到「炼大模型」的趋势转变。此外，智源研究院从 2020 年起培育和支撑了国内第一批大模型领域的科研人才和团队的快速成长，这些人才和团队已经成为活跃在国内大模型舞台的中坚力量。
或许是这些前人的经验与智慧，催生出了划时代意义的「ChatGPT」。人们可以通过同一个模型完成多场景任务，大模型成为了支撑无数智能应用的基础平台，使得人工智能技术的大规模应用变为可能，加速了智能时代的真正到来。
但从学术研究、产业落地的维度去展望，我们仍意识到，ChatGPT 想要从一种前沿技术转变为全民普及的应用产品，还缺少「开源操作系统」这种关键要素的推动。当前深度学习阶段的人工智能系统具有难以透彻理解的技术特性，智能时代不应封闭、必须开放、最好开源，特别是作为基础平台的大模型需要全面开源、接受监督，才能得到信任、采纳和广泛应用。
正如近段时间的 AI 圈流传甚广的一张图：
黄铁军指出，大模型是中间状态，既不是最终的服务，也不是研发对象。ChatGPT 的火热只是大模型技术「海平面以上」的冰山一角，可以理解为「一种标志性的 AI 产品」，但深藏于「海平面以下」的大模型技术体系才是更值得关注的部分。
FlagOpen 正是为了建立大模型技术体系而开展的基础性工作，其建立初衷就如同多年前的 Linux，不同之处在于，如今大模型领域的「Linux」在垄断力量形成之前就已成立，并将通过开源开放的形式促进各类机构共创共享，形成良好生态，共同打牢大模型发展根基。
「授人以鱼，不如授人以渔」
在大模型的浪潮之后，未来走什么样的技术路线，什么样的算法、技术会在里面发挥重要的作用，还是一个开放的问题。
这一领域注定会涌入大量的创新型人才，在前所未有的历史机遇里找到自己的位置，为大模型技术体系做出自己的贡献。而实现这一愿景的方法，不应该仅限于加入大公司或者少数极有实力的机构这一条路径。
自 ChatGPT 爆火之后，追逐热点的行为并不少见。但深思熟虑之后，我们能够得出结论：与其说「谁会成为中国的 OpenAI」，不如关注可以做些什么推动中国诞生更多的「OpenAI」。
「智源的 FlagOpen 希望为这些搞大模型研究的人提供展示、验证自己能力的平台，推动学界、业界等多方协同，而不是只有少数几个机构、企业掌握相关的技术和资源，推动大模型研究的长远发展。」黄铁军表示。
这也是 FlagOpen 的出发点：从长远考虑，打好根基，形成完整的大模型技术体系及强大的资源能力，才能产生更多的「ChatGPT 级」的现场级应用。
FlagOpen 的推出也许会深刻影响未来的中国 AI，更与时代中的每一位 AI 开发者息息相关。
© THE END 
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
继续阅读
阅读原文