IDEA研究院张家兴：预训练大模型成为AI新内核

11月25日，由创业黑马主办的“第15届创业家年会”在北京举办，年会主题为“AI给世界一个确定性”。会上，IDEA研究院认知计算与自然语言研究中心讲席科学家张家兴出席，以《从大模型的视角看AI价值与落地》为主题发表了演讲，并担任“2023黑马AI创新大赛”总决赛的主评委，在大会现场与大赛年度30强企业进行闭门交流会，共同探讨产业趋势与未来。

张家兴在演讲中表示，“我们正在从以深度学习为中心的AI时代过渡到以预训练大语言模型为中心的新AI时代”。他认为：AI技术总是在重复同样的场景，但AI的内核在不断发生变化。从计算到规则、机器学习到深度学习，到现在的大语言模型。每一次AI内核发生变化，我们就会用新的AI技术再重新去思考这些场景，把这些场景重做一遍。

以下为创业家&i黑马编辑过的演讲节选：

预训练大模型成为AI新内核

我的团队来自IDEA研究院认知计算与自然语言研究中心，近两年时间不断构建各种大模型并推进落地，这个过程关键的就是“价值”二字。价值是连接技术和落地的关键点，我们努力通过大模型去找到AI新价值点。

我们正在从以深度学习为中心的AI时代过渡到以预训练大语言模型为中心的新AI时代。深度学习为中心的时代，围绕DNN、CNN、RNN、GNN等，开发智能客服、机器翻译等各种应用。ChatGPT的出现让我们认识到预训练大语言模型成为AI新内核。围绕预训练大语言模型构建的新AI场景，比如文生图、角色扮演、新一代的具身智能，是上一个AI时代是无法实现的。当AI的技术内核发生变化时，我们最值得思考的就是AI的技术本质、价值、以及落地方式。

AI内核的变化也是技术范式的变化，其也带来技术价值链条的重建。新AI时代，价值源头是预训练模型，进一步学习技能、对齐场景、对齐任务，继续训练，形成多模型、多模块的协同的智能体，叠加产品、商业、运营的思考，最终推向落地场景。

大语言模型创造了各种价值

过去两年，IDEA研究院认知计算与自然语言研究中心研发各种大语言模型，累计开源110多个模型，下载量超过300万，是中国开源大模型最多的团队；中心也基于ChatGPT技术训练出一系列的通用模型与专业模型，持续开源。

大模型价值如何向外呈现有不同的选择。一种选择是把所有能力压到一个模型里，就是通用模型。另一种选择是专用大模型，举个例子，在代码模型领域，以我们的模型Ziya-Coding为代表的众多专业模型都比ChatGPT4做得好。

大语言模型成为多模态中心，可以帮助其他模态。图像生成技术很久了，为什么最近表现出这么强的能力？部分原因是大模型对人类语言的理解能力大幅度增强，可以指导图像的生成。我们用文生图做建筑室内设计，非常复杂的Prompt，通过大语言模型的理解，可以生成专业的设计图像。

AI落地的技术信仰变迁

第一个技术信仰变迁是技术信仰来自哪里？我们曾经把AI能力的来源归结为数据，有多少数据，就有多少智能。今天发生了AI技术信仰变迁，有多好的基座模型，就有多少智能。尤其是大模型创业，第一个问题是该选用哪个基座模型、该调哪个API，这是我们AI落地过程中第一个技术信仰的变迁。

第二个技术信仰变迁是如何获得技术信仰？以深度学习为中心的AI时代，我们为任务设计模型结构。以预训练大语言模型为中心的新AI时代，我们为GPT模型寻找一个好的训练方法。

第三个技术信仰变迁是技术信仰产生的技术手段。深度学习要想获得AI能力，一定要训练模型，训练模型就是让模型的参数做改变，无论什么样的学习方法，总而言之参数要改变。今天可以直接激发模型能力，模型参数没有任何更改，但可以让模型通过prompt和in-context learning等方式，呈现出各种各样的能力。

张家兴在大赛闭门会现场分享

不同场景中的两种AI

世界上有两种AI，一种是Data for AI，另一种是AI for Data。

Data for AI是为了获取AI的能力，用数据训练大语言模型，主要用在写作、推理、设计、写代码、角色扮演等场景，是大语言模型的应用领域，使AI具备和人一样的能力。

AI for Data是AI技术挖掘数据的价值，从大数据中产生结果，主要用在搜索、营销、推荐、广告、风控等场景，是大语言模型之外的应用领域。

大模型技术落地的三个阶段

大模型落地需要认识到AI所能产生的价值和想象中的AI价值有巨大的gap，只能在交集部分去推动AI落地。

大模型技术落地有三个阶段，第一阶段是示范性突破、基础设施搭建；第二阶段是产业落地，从最简单最有价值的场景开始，后进者被迫跟进；第三阶段是探索扩展领域，困难加剧，收益递减。当下大语言模型落地处于第一阶段，基础设施还处于没有那么的好的状态，包括有没有充足的算力，以及有没有针对当下大语言模型的新的训练框架。

最后，从更长的历史看未来，AI发展几十年，从20世纪50年代开始，AI技术总是在重复同样的场景，但AI的内核在不断发生变化。从计算到规则、到机器学习到深度学习，到现在的大语言模型。每一次AI内核发生变化，我们就会用新的AI技术再重新去思考这些场景，把这些场景重做一遍。