作者 | Reza Rahimi
译者 | 明知山
策划 | 丁晓昀
谷歌 AI 开发了一种叫作 Minerva 的深度学习语言模型，可以通过逐步推理解决数学定量问题。
在最近发表的与 Minerva 相关的论文中，研究人员解释了这种深度学习模型的开发情况。他们基于包含定量推理的大型训练数据集训练深度学习模型，实现了最先进的解决方案。最终的模型 Minerva 可以解决 STEM 推理任务中的定量数学问题。
Minerva 使用自然语言处理和数学符号处理技术来解析问题。它召回相关的公式、常数和涉及数值计算的逐步解决方案。它生成包含符号操作和数值计算的解决方案，不需要依赖计算器来得到最终答案。它用不同的分配概率为问题生成不同的答案，并通过多数投票来选择最终答案。下图是 Minerva 针对一个定量数学问题的输出示例。
Minerva 针对一个定量数学问题的输出示例
Minerva 构建在 Pathways 语言模型（PaLM，5400 亿个参数，密集激活，转换器语言模型）之上，具有更多的数学数据集，如 arXiv、包含 LaTeX 和 MathJax 的文本或其他数学格式。为了在符号数据上训练模型，训练数据集中保留了数学符号表示。这个过程如下图所示。
为训练 Minerva，保留了符号数学表达式
为了对 Minerva 的性能进行基准测试，使用了从小学水平到研究生水平的 STEM 基准。研究人员使用的数据集包括 MATH（高中数学竞赛水平的问题）、MMLU-STEM（大规模多任务语言理解基准，涵盖高中和大学水平的工程、化学、数学和物理问题）和 GSM8k（有天赋的中学生可以解决的小学数学问题，涉及基本的算术运算）。Minerva 在 MATH 和 MMLU-STEM 上表现出了显著的性能，如下图所示。
Minerva 的性能表现
Minerva 的一个局限性是模型的答案不能进行自动评估。正如博文中所描述的：
我们的定量推理方法不是以规范数学为基础。Minerva 使用自然语言和 LaTeX 数学表达式解析问题并生成答案，没有显式的底层数学结构。这种方法有一个重要的局限性，即模型的答案不能进行自动验证。即使最终答案是已知的，并且可以被验证，模型也能通过不正确的推理步骤得到正确的最终答案，这是无法自动检测的。这个局限性在规范的定理证明方法中不存在（参见 Coq、Isabelle、HOL、Lean、Metamath 和 Mizar）。
为了推广量化推理的 NLP 模型，谷歌 AI 分享了一个交互式示例集合，用于帮助用户探索 Minerva 的能力。
将自然语言处理和深度学习应用于数学推理是一个具有挑战性的研究领域。在这个领域有一些其他带有源代码的论文，如图到树的学习和用于数学应用题的目标驱动树结构神经模型。这里也有一些该领域的其他带有源代码的论文，供读者进一步阅读。
原文链接：
Google AI Developed a Language Model to Solve Quantitative Reasoning Problems
你也「在看」吗？👇
继续阅读
阅读原文