新智元报道  

编辑:Aeneas 好困
【新智元导读】传闻中OpenAI的Q*,已经引得AI大佬轮番下场。AI2研究科学家Nathan Lambert和英伟达高级科学家Jim Fan都激动的写下长文,猜测Q*和思维树、过程奖励模型、AlphaGo有关。人类离AGI,已是临门一脚了?
OpenAI的神秘Q*项目,已经引爆整个AI社区!
疑似接近AGI,因为巨大计算资源能解决某些数学问题,让Sam Altman出局董事会的导火索,有毁灭人类风险……这些元素单拎出哪一个来,都足够炸裂。
无怪乎Q*项目曝出三天后,热度还在持续上升,已经引起了全网AI大佬的探讨。
AI2研究科学家Nathan激动地写出一篇长文,猜测Q假说应该是关于思想树+过程奖励模型。
而且,Q*假说很可能和世界模型有关!
几小时后,英伟达高级科学家Jim Fan也发出长文分析,跟Nathan的看法不谋而合,略有不同的是,Jim Fan的着重点是和AlphaGo的类比。
对于Q*,Jim Fan发出了如此赞叹:在我投身人工智能领域的十年中,我从来见过有这么多人对一个算法有如此多的想象!即使它只有一个名字,没有任何论文、数据或产品。
相比之下,图灵三巨头LeCun则认为,提升大LLM可靠性的一个主要挑战是,利用规划策略取代自回归token预测。
几乎所有顶级实验室都在这方面进行研究,而Q*则很可能是OpenAI在规划领域的尝试。
以及,请忽略那些关于Q*的毫无根据的讨论。
对此,Jim Fan深表赞同:担心「通过Q*实现AGI」是毫无根据的。
「AlphaGo式搜索和LLM的结合,是解决数学和编码等特定领域的有效方法,同时还能提供基准真相的信号。但在正式探讨AGI之前,我们首先需要开发新的方法,将世界模型和具身智能体的能力整合进去。」
Q-Learning忽然大火
简单来说,Q-learning是一种无模型的强化学习算法,旨在学习特定状态下某个动作的价值。其最终目标是找到最佳策略,即在每个状态下采取最佳动作,以最大化随时间累积的奖励。
在人工智能领域,尤其是在强化学习中,Q-learning代表了一种重要的方法论。
很快,这个话题引发了各路网友的激烈讨论:
斯坦福博士Silas Alberti猜测,它很可能是基于AlphaGo式蒙特卡罗树搜索token轨迹。下一个合乎逻辑的步骤是以更有原则的方式搜索token树。这在编码和数学等环境中尤为合理。
随后,更多人猜测,Q*指的就是A*算法和Q学习的结合!
甚至有人发现,Q-Learning竟然和ChatGPT成功秘诀之一的RLHF,有着千丝万缕的联系!
随着几位AI大佬的下场,大家的观点,愈发不谋而合了。
AI大佬千字长文分析
对于引得众人好奇无比的Q*假说,AI2研究科学家Nathan Lambert写了如下一篇长文分析——《Q* 假说:思维树推理、过程奖励模型和增强合成数据》。
文章地址:https://www.interconnects.ai/p/q-star
Lambert猜测,如果Q*(Q-Star)是真的,那么它显然是RL文献中的两个核心主题的合成:Q值和A*(一种经典的图搜索算法)。
A*算法的一个例子
很多天来,坊间关于Q冒出了很多猜测,有一种观点认为,Q指的是最优策略的值函数,不过在Lambert看来这不太可能,因为OpenAI已经几乎泄露了所有内容。
Lambert将自己的猜测称为「锡帽理论」,即Q学习和A*搜索的模糊合并。
所以,正在搜索的是什么?Lambert相信,OpenAI应该是在通过思想树推理来搜索语言/推理步骤,来做一些强大的事情。
如果仅是如此,为何会引起如此大的震动和恐慌呢?
他觉得Q*被夸大的原因是,它将大语言模型的训练和使用与Deep RL的核心组件联系起来,而这些组件,成功实现了AlphaGo的功能——自我博弈和前瞻性规划。
其中,自我博弈(Self-play)理论是指,智能体可以和跟自己版本略有不同的另一个智能体对战,来改善游戏玩法,因为它遇到的情况会越来越有挑战性。
在LLM领域,自我博弈理论看起来就像是AI反馈。
前瞻性规划(Look-ahead planning),是指使用世界模型来推理未来,并产生更好的行动或输出。
这种理论基于模型预测控制(MPC)和蒙特卡洛树搜索(MCTS),前者通常用于连续状态,后者适用于离散动作和状态。
https://www.researchgate.net/publication/320003615_MCTSUCT_in_solving_real-life_problems
Lambert之所以做出这种推测,是基于OpenAI和其他公司最近发布的工作。这些工作,回答了这样两个问题——
1. 我们如何构建一个我们自己可以搜索的语言表示?
2. 在分隔和有意义的语言块(而不是整个语言块)上,我们怎样才能构建一个价值概念?
如果想明白了这两个问题,我们就该清楚,应该如何使用用于RLHF的RL方法——我们用RL优化器来微调语言模型,并且通过模块化奖励,获得更高质量的生成(而不是像今天那样,完整的序列)。

使用LLM进行模块化推理:思维树(ToT)提示

现在,让模型「深呼吸」和「一步步思考」之类的方法,正在扩展到利用并行计算和启发式进行推理的高级方法上。
思维树是一种提示语言模型创建推理路径树的方法,这些路径可能会、也可能不会收敛到正确答案。
实现思维树的关键创新,就是推理步骤的分块,以及提示模型创建新的推理步骤。
思维树或许是第一个提高推理性能的「递归」提示技术,听起来非常接近人工智能安全所关注的递归自我改进模型。
https://arxiv.org/abs/2305.10601
使用推理树,就可以应用不同的方法来对每个顶点或节点进行评分,或者对最终路径进行采样。
它可以基于最一致答案的最小长度,或者需要外部反馈的复杂事物,而这恰恰就把我们带到了RLHF的方向。
用思维树玩24点游戏

生成中的细粒度奖励标签:过程奖励模型(PRM)

迄今为止,大多数RLHF,都是通过给模型的整个响应打分而完成的。
但对于具有RL背景的人,这种方法很令人失望,因为它限制了RL方法对文本的每个子组件的值建立联系的能力。
有人指出,在未来,这种多步骤优化将在多个对话回合的层面上进行,但由于需要有人类或一些提示源参与循环,整个过程仍然很牵强。
这可以很容易地扩展到自我博弈风格的对话上,但很难给出LLM一个目标,让它转化为持续改进的自我博弈动态。
毕竟,我们想用LLM做的大多数事情还是重复性任务,并不是像围棋那样,需要达到近乎无限的性能上限。
不过,有一种LLM用例,可以自然地抽象为包含的文本块,那就是分步推理。而最好的例子,就是解决数学问题。
过去6个月内,过程奖励模型(PRM)一直是RLHF人员热烈探讨的话题。
关于PRM的论文很多,但很少有论文会提到,如何将它们与RL结合使用。
PRM的核心思想,就是为每个推理步骤分配一个分数,而不是一个完整的信息。
OpenAI的论文「Let's Verify Step by Step」中,就有这样一个例子——
在这个过程中,他们使用的反馈界面长这个样子,非常有启发性。
这样,就可以通过对最大平均奖励或其他指标进行采样,而不是仅仅依靠一个分数,对推理问题的生成进行更精细的调整。
使用「N最优采样」(Best-of-N sampling),即生成一系列次数,并使用奖励模型得分最高的一次,PRM在推理任务中的表现,要优于标准RM。
(注意,它正是Llama 2中「拒绝采样」Rejection Sampling的表兄弟。)
而且迄今为止,大多数PRM仅展示了自己在推理时的巨大作用。但如果把它用于训练进行优化,就会发挥真正的威力。
而为了创建最丰富的优化设置,就需要能够生成用于评分和学习的多种推理路径。
这,就是思维树的用武之地。
人气极高的数学模型Wizard-LM-Math,就是使用PRM进行训练的:https://arxiv.org/abs/2308.09583

所以,Q*可能是什么?

Nathan Lambert猜测,Q*似乎正在使用PRM,对ToT推理数据进行评分,然后再使用Offline RL进行优化。
这与现有的RLHF工具没有太大区别,它们用的是DPO或ILQL等离线算法,这些算法在训练期间不需要从LLM生成。
RL算法看到的「轨迹」,就是推理步骤的序列,因此,我们得以用多步方式,而不是通过上下文,来执行RLHF。
现有的传言显示,OpenAI正在将离线RL用于RLHF,这似乎不是一个很重大的飞跃。
它的复杂性在于要收集正确的提示,让模型生成出色的推理,而最重要的,就是准确地给数以万计的响应评分。
而传闻中的庞大计算资源,就是使用AI而非人类,来给每一步打分。
的确,合成数据才是王道,使用树而非单一宽度路径(思维链),就可以为以后越来越多的选择,给出正确答案。
如果传言是真的,OpenAI和其他模型的差距,无疑会很可怕。
毕竟,现在大多数科技公司,比如谷歌、Anthropic、Cohere等,创建预训练数据集用的还是过程监督或类似RLAIF的方法,轻易就会耗费数千个GPU小时。
超大规模AI反馈的数据未来
根据外媒The Information的传言,Ilya Sutskever的突破使OpenAI解决了数据荒难题,这样就有了足够的高质量数据来训练下一代新模型。
而这些数据,就是用计算机生成的数据,而非真实世界的数据。
另外,Ilya多年研究的问题,就是如何让GPT-4等语言模型解决涉及推理的任务,如数学或科学问题。
Nathan Lambert表示,如果自己猜得没错,Q*就是生成的合成推理数据。
通过类似剔除抽样(根据RM分数进行筛选)的方法,可以选出最优秀的样本。而通过离线RL,生成的推理可以在模型中得到改进。
对于那些拥有优质大模型和大量算力资源的机构来说,这是一个良性循环。
结合GPT-4给大家的印象,数学、代码、推理,都应该是最从Q*技术受益的主题。

什么是最有价值的推理token?

许多AI研究者心中永恒的问题是:究竟哪些应用值得在推理计算上花费更多成本?
毕竟,对于大多数任务(如阅读文章、总结邮件)来说,Q*带来的提升可能不值一提。
但对于生成代码而言,使用最佳模型,显然是值得的。
Lambert表示,自己脑子中有一种根深蒂固的直觉,来自于和周围人餐桌上的讨论——使用RLHF对扩展推理进行训练,可以提高下游性能,而无需让模型一步一步思考。
如果Q*中实现了这一点,OpenAI的模型,无疑会显示出重大的飞跃。
Jim Fan:Q*可能的四大核心要素
Nathan在我之前几个小时发布了一篇博客,并讨论了非常相似的想法:思想树+过程奖励模型。他的博客列出了更多的参考文献,而我更倾向于与AlphaGo的类比。
Jim Fan表示,要理解搜索和学习结合的强大威力,我们需要先回到2016年,这个人工智能历史上的辉煌时刻。
在重新审视AlphaGo时,可以看到它包含了四个关键要素:
1. 策略神经网络(Policy NN,学习部分):评估每种走法获胜的可能性,并挑选好的走法。
2. 价值神经网络(Value NN,学习部分):用于评估棋局,从任意合理的布局中预测胜负。
3. 蒙特卡罗树搜索(MCTS,搜索部分):利用策略神经网络模拟从当前位置出发的多种可能的走法,然后汇总这些模拟的结果来决定最有希望的走法。这是一个「慢思考」环节,与大语言模型(LLM)中的快速token采样形成鲜明对比。
4. 推动整个系统的真实信号:在围棋中,这个信号就像「谁获胜」这种二元标签一样简单,由一套固定的游戏规则所决定。你可以把它想象成一种能量源,持续地推动着学习的进程。
那么,这些组件是如何相互作用的呢?
AlphaGo通过自我博弈(即与自己之前的版本对弈)来学习。
随着自我博弈的持续,策略神经网络和价值神经网络都在不断迭代中得到改善:随着策略在选择走法上变得更精准,价值神经网络也能获得更高质量的数据进行学习,进而为策略提供更有效的反馈。更强大的策略也有助于MCTS探索出更佳的策略。
这些最终构成了一个巧妙的「永动机」。通过这种方式,AlphaGo能自我提升,最终在2016年以4-1的成绩击败了人类世界冠军李世石。仅仅通过模仿人类的数据,人工智能是无法达到超越人类的水平的。
对于Q*来说,又会包含哪四个核心组件呢?
1. 策略神经网络(Policy NN):这将是OpenAI内部最强大的GPT,负责实现解决数学问题的思维过程。
2. 价值神经网络(Value NN):这是另一个GPT,用来评估每一个中间推理步骤的正确性。
OpenAI在2023年5月发布了一篇名为「Let's Verify Step by Step」的论文,作者包括Ilya Sutskever、John Schulman和Jan Leike等知名大佬。虽然它不像DALL-E或Whisper那样知名,但却为我们提供了不少线索。
在论文中,作者提出了「过程监督奖励模型」(Process-supervised Reward Models,PRM),它为思维链中的每一步提供反馈。相对的是「结果监督奖励模型」(Outcome-supervised Reward Models,ORM),它只对最终的整体输出进行评估。
ORM是RLHF的原始奖励模型,但它的粒度太粗,不适合对长响应中的各个部分进行适当的评估。换句话说,ORM在功劳分配方面表现不佳。在强化学习文献中,我们将ORM称为「稀疏奖励」(仅在最后给予一次),而PRM则是「密集奖励」,能够更平滑地引导LLM朝我们期望的行为发展。
3. 搜索:不同于AlphaGo的离散状态和动作,LLM运行在一个复杂得多的空间中(所有合理字符串)。因此,我们需要开发新的搜索方法。
在思维链(CoT)的基础上,研究界已经开发出了一些非线性变体:
- 思维树(Tree of Thought):就是将思维链和树搜索结合在一起
- 思维图(Graph of Thought):将思维链和图结合,就可以得到一个更为复杂的搜索运算符
4. 真实信号:(几种可能) 
(a)每个数学问题都有一个已知答案,OpenAI可能已经从现有的数学考试或竞赛中收集了大量的数据。
(b)ORM本身可以作为一种真实信号,但这样可能会被利用,从而「失去维持学习所需的能量」。
(c)形式化验证系统,如Lean定理证明器,可以把数学问题转化为编程问题,并提供编译器反馈。
就像AlphaGo那样,策略LLM和价值LLM可以通过迭代相互促进进步,并在可能的情况下从人类专家的标注中学习。更优秀的策略LLM将帮助思维树搜索发现更好的策略,这反过来又能为下一轮迭代收集更优质的数据。
Demis Hassabis之前提到过,DeepMind的Gemini将采用「AlphaGo式算法」来增强推理能力。即使Q*不是我们所想象的那样,谷歌也一定会用自己的算法迎头赶上。
Jim Fan表示,以上只是关于推理的部分。目前并没有迹象表明Q*在写诗、讲笑话或角色扮演方面会更具创造性。本质上,提高创造力是人的事情,因此自然数据仍将胜过合成数据。
是时候解决最后一章了
而深度学习专家Sebastian Raschka对此表示——
如果你出于任何原因,不得不在这个周末学习Q-learning,并且碰巧在你的书架上有一本「Machine Learning with PyTorch and Scikit-Learn」,那么,现在是时候解决最后一章了。
参考资料:
https://www.interconnects.ai/p/q-star
https://twitter.com/DrJimFan/status/1728100123862004105
继续阅读
阅读原文