哈工大发布最新综述：大语言模型时代的表格推理技术

©PaperWeekly 原创 · 作者 | 张玄靓

单位 | 哈尔滨工业大学

研究方向 | 自然语言处理、表格推理

介绍

表格推理（Table Reasoning）任务要求模型根据给定表格完成用户的要求（如图 1 所示，包括表格问答、表格事实判断等）。表格推理在自然语言处理（Natural Language Processin, NLP）领域是一项重要的任务，它显著提升了人们从大量表格中获取和处理数据的效率。

▲ 图1：不同表格推理任务的解释

过去表格推理的研究大致经过了基于规则、基于神经网络以及基于预训练模型几个阶段 [1]，我们称之为前大模型时代。最近的研究 [2] 表明，大规模语言模型（Large Language Model，LLM）在各个 NLP 任务上都表现出了引人注目的性能，并且极大减少了标注需求，我们称之为大模型时代。因此，已经有许多工作将 LLM 应用到表格推理任务上，其性能超过了前大模型时代的方法，成为了目前的主流方法。

然而，目前缺乏关于 LLM 表格推理工作的总结分析，导致如何进一步提升性能仍有待研究，一定程度阻碍了现有研究。而基于前大模型的总结分析不适用于 LLM，因为一些前大模型时代的主流技术，例如改变模型结构和设计预训练任务不再适用于用 LLM 进行表格推理，LLM 时代的方法更关注如何设计 prompt 或 pipeline。

因此，本文总结了现有的用 LLM 进行表格推理的工作以促进未来研究。在本文中，我们主要讨论以下 3 个关于表格推理的问题：

1. LLM 时代什么技术可以提升表格推理性能？

2. 为什么 LLM 擅长表格推理？

3. 如何进一步提升模型的表格推理能力？

本篇综述的结构如图 2 所示。

▲ 图2：本篇论文的结构总览，以最有代表性的工作举例

关于第一个问题，为了研究者更好地适应 LLM 时代的表格推理研究，我们在第 3 节展示了 LLM 时代表格推理的主流技术。关于第二个问题，我们在第 4 节从两个表格推理任务固有的挑战出发分析了 LLM 解决表格推理任务的优势。关于第三个问题，我们在第 5 节从如何进一步提升表格推理性能，以及如何探索实际应用中的表格推理任务两个角度讨论了表格推理研究未来潜在的方向。

本文是对综述《A Survey of Table Reasoning with Large Language Models》的翻译与总结，关于更详细的介绍与分析可以阅读原文，并且我们在 GitHub 中总结了现有相关研究的详细资源。

论文链接：

https://arxiv.org/abs/2402.08259

Github链接：

https://github.com/zhxlia/Awesome-TableReasoning-LLM-Survey

背景

2.1 论文选择标准

论文中要解决的问题至少要与一个表格相关。
论文中的方法需要使用 LLM 进行推理，或对 LLM 进行微调。

2.2 任务定义

在表格推理任务中，模型的输入包括表格和可选的文字描述，以及对应于不同任务的用户问题（比如，表格问答、表格事实验证、table-to-text 以及 text-to-SQL），输出则是对用户提出问题的回答。

2.3 相关数据集

尽管目前主流工作在使用 LLM 解决表格推理任务时，一般会使用基于上下文学习的方法来进行预测，而无需数据进行训练，但人们依然需要依赖标注数据，来验证 LLM 在解决表格推理任务时的性能。因此在这一小节，我们将针对四个目前主流的表格推理任务，分别介绍相关的主流数据集：

表格问答：根据表格回答问题。WikiTableQuestions [3] 数据集作为第一个表格问答类的数据集，由于其开放域的表格和复杂的查询问题，使得该数据集能够充分验证模型的表格问答能力；
表格事实验证：判断表格是否支持给定的文字假设。TabFact [4] 数据集作为第一个表格事实验证类的数据集，其大规模跨领域的表格数据和复杂的推理需求，可以有效检验模型在表格事实验证任务上的能力；
table-to-text：根据问题和表格生成对应的自然语言描述。ToTTo [5] 数据集通过高亮特定的表格内容生成相关描述，因其大规模高质量的表格数据及对应描述能很好地验证模型的 table-to-text 能力，而成为 table-to-text 任务的主流数据集；
text-to-SQL：将自然语言问题根据给定数据库转换成 SQL。Spider [6] 是第一个 text-to-SQL 任务上多领域、多表格的数据集，在 text-to-SQL 任务上被广泛使用。

前沿进展

我们将从继承于前大模型时代的技术和独属于 LLM 时代的技术两方面介绍 LLM 时代表格推理方法的主流技术。并且，我们将现有将 LLM 用于表格推理的方法按照所使用的主流技术分为 5 类，如图 3 所示。使用不同技术的具体方法如表 1 所示。

▲ 图3：LLM 时代可以被用于提升表格推理性能的主流技术

▲ 表1：使用不同主流技术的方法汇总

3.1 继承于前大模型时代的主流技术

尽管 LLM 带来了很大的研究上的转变，但很多 pre-LLM 的技术依然可以沿用到 LLM 上。因此在这一节，我们介绍从前大模型时代沿用的技术。

3.1.1 有监督微调

有监督微调是指用有标注数据微调 LLM，从而增强 LLM 的表格推理能力。一些开源小规模 LLM 在表格推理能力上的性能较弱，并且有相对较低的微调成本，所以研究者使用有监督微调提升模型的表格推理能力。

3.1.2 结果集成

结果集成指通过集成 LLM 生成的多个结果提升模型的表格推理能力。因为无论前大模型还是 LLM 当面对微小扰动时（例如：随机数种子、问题中的无意义词），都很难保持生成正确结果导致模型性能衰退。为了提升模型鲁棒性，研究者们提出一系列方法以提升模型性能。

3.2 独属于LLM时代的主流技术

除了继承于前大模型时代的技术，LLM 的涌现现象带来了独属于 LLM 时代的技术。我们在本小节详细介绍这些技术。

3.2.1 上下文学习

上下文学习是指 LLM 在不用微调的情况下，通过设计 prompt 来增强表格推理能力。由于 LLM 的性能受 prompt 严重影响，研究者通过设计 prompt 充分运用上下文学习技术直接解决表格推理任务。

3.2.2 指令设计

指令跟随指 LLM 即使在未见过的任务上，依据指令描述也可以表现得很好。在表格推理任务中，研究者使用指令设计技术间接解决问题，通过引导 LLM 解决多个分解的子问题，这些子问题对于 LLM 可能没在训练阶段见过，需要模型通过指令描述去学习。

3.2.3 逐步推理

逐步推理指 LLM 可以通过利用涉及中间推理步骤的提示机制来解决复杂推理，以得出最终答案。逐步推理需要 LLM 将复杂问题分解为多个简单的子问题，不同于模块化分解需要研究者将任务分解为不同的子任务。

3.3 比较

3.3.1 使用不同技术的研究比例

为了分析现有表格推理工作的研究趋势，我们在这一节统计了基于以上技术的已有工作，如图 4 所示。从图中可以发现，在表格推理任务上研究指令设计和上下文学习比研究逐步推理和结果集成更有前景。可以发现，研究逐步推理和结果集成的工作占比较少，因为这两类工作可以较容易地适用于不同任务上。相反，使用指令设计和上下文学习技术需要为表格推理任务单独设计方法，并且相比较使用有监督微调的时间开销较小，所以这两类工作的占比最多。

▲ 图4：使用不同技术在月份上的研究趋势，#Paper指论文数量

3.3.2 使用不同技术的性能对比

为了分析在表格推理任务中最有效的技术，找到最有前景的研究方向，我们统计了使用不同主流技术的方法在各数据集上的最高分，如表 2 所示。可以发现指令设计和逐步推理在不同任务上一致地提升了 LLM 的表格推理能力,我们会在第 4 节详细讨论原因。此外，这种性能提升的一致也表明不同的表格推理任务之间所需要的能力也具有很高的一致性，从而更好地发挥 LLM 的泛用性。值得注意的是，上下文学习技术在 text-to-SQL 任务上取得了最好的性能，这是因为 SQL 相对自然语言语法结构较为简单，使用相同数量的示例，text-to-SQL 任务能覆盖更多类型的用户问题，因此使用上下文学习技术解决 text-to-SQL 任务相较于解决其他表格推理任务吸引了更多关注。

▲ 表2：各个数据集下使用不同技术的最高分数

讨论：为什么大模型能更好地解决表格推理任务

我们以两个表格推理所特有的挑战——结构理解和实体链接——为例，分析 LLM 本身的特性对解决表格推理挑战的帮助，以便研究者更加充分利用这种能力来解决表格推理挑战，以进一步提升性能。

4.1 结构理解

结构理解是指模型能够理解数据库的结构以及数据库中各个表之间的主外键 [37]。LLM 相较于参数量较小的预训练模型有更强的结构理解能力，因为结构理解和代码理解具有一定的相似性，比如结构理解和代码理解都需要模型识别多层级的索引结构等，而 LLM 在代码数据上做过训练，对代码理解任务更擅长，所以 LLM 可以将表格理解任务转换成代码理解任务以获得更好的表现。

4.2 实体链接

实体链接是指将用户问题中出现的实体和数据库表格中的表名、行名和列名对应，缩小了问题和表格对应实体间表示的差距，有助于模型关注到回答问题需要用到的表格中的实体 [37]。相较于小模型，LLM 具有将问题分解逐步推理来降低推理难度的能力，因此 LLM 可以通过根据问题分解，在每个分解的子问题中分别寻找与表格中实体的对应完成实体链接。相比较针对整个问题进行实体链接，针对分解的子问题去掉了问题中与推理和求解不相关的词段，能更加专注于实体的链接。

未来方向

为了启发未来研究，在本节，我们将从增强表格推理能力和推进表格推理应用两个角度，来介绍如何改进各类方法，更好地将基于 LLM 的表格推理应用到实际生产生活中。

5.1 增强表格推理能力

有监督微调：由于 LLM 强大的泛化性，研究者在对 LLM 有监督微调时应该构建多个表格任务的多样化数据以提升模型在表格推理任务上的总体性能。此外，现有方法只关注数据的某些特征，或特定任务，导致蒸馏的数据并不具有多样性，模型的表格推理性能也无法因此得到全面的提升，因此，未来工作应该使用 LLM 蒸馏具有不同特征，面向不同任务的多样化数据，以提升模型在表格推理任务上的综合能力以及泛化性。并且，LLM 对表格二维结构的理解仍然有所欠缺，难以根据行名和列名定位到需要的位置，未来工作应该关注设计预训练以提升模型对表格二维结构的理解能力。
结果集成：为了令集成后可以获得正确的答案，研究者应该关注如何在可能的结果空间中采样可以获得正确答案。获取多个结果的主要目的是拓宽采样空间，以使空间中包含更多正确答案。此外，现有选择正确结果的工作只依据最终结果，没有考虑到结果个数随着推理步数的增长呈指数增长，在指数大的搜索空间中采样很难采样到正确答案。未来工作可以对表格推理的路径做集成，通过选择正确的推理路径减少搜索空间，进一步选出正确答案。
上下文学习：由于 LLM 的性能严重依赖于 prompt，研究者应该关注如何根据问题自动优化表格推理的 prompt。现有研究均是从有限范围内人工比较或设计算法选择更好的 prompt 作为输入，导致模型性能的提升也是有限的。为了更好地设计 prompt，可以借助 LLM 自动生成上下文，并根据表格和任务对 prompt 打分以及优化，更好地帮助模型理解并解决这个问题。
指令设计：基于现有工作，如何充分利用模块化分解针对每个表格推理问题降低其难度以提升总体性能，值得研究者的注意。未来工作可以关注如何无需为 LLM 解决某一表格问题指定流水线，而是令 LLM 能够根据问题自主将任务显示分解，能适合于所有表格任务，很好地降低单步推理难度并且减少人工参与。此外，对于工具学习的工作，现有工作没有注意到生成的函数本身也有可能错误，为表格推理过程引入额外的错误，未来工作应该在工具制作之后加入工具验证过程，以保证生成的工具可以被正确应用。并且现有工作仍然面临因问题或表格太过专业导致推理错误的问题，如何借用工具引入外部知识以帮助模型推理值得未来研究。
逐步推理：现有关于多步推理的研究没有考虑到多步推理造成的错误级联问题，造成错误的中间结果导致后续推理的错误。未来工作可以研究如何通过选取多个可能的中间过程，来缓解这一问题。

5.2 推进表格推理应用

多模态：在实际应用中，许多表格是通过文档图片的形式提供的。为了更好地对齐自然语言问题与视觉图表信息，未来研究可以探索设计结构，来将问题中的实体与图片表格中的表头对齐，增强图片与文本间的语意对齐
Agent 能力：由于在现实场景中，当 LLM 面对复杂的表格推理问题难以独自解决时，可以与其它 agent 合作，比如代码、搜索引擎等。因为不同的 agent 适合解决不同的问题，不同的 agent 对同一问题带来的性能改变也是不同的，为了进一步提升表格推理的性能，未来研究可以通过探索更多适合不同表格任务的 agent 增强表格推理任务与 agent 的合作。
多轮对话：由于与用户交互的过程中，可能存在模型返回结果错误、用户问题表达不清的问题，导致需要多轮交互来纠正错误，而 LLM 时代很少有人关注与用户交互的多轮对话表格推理任务，因此需要增强模型针对对话的 table reasoning 能力。未来研究应该关注如何在多轮对话中，迭代地高效利用子表，如果问题是基于之前轮次的问题的追问，可以直接使用之前轮次分解的表格继续推理，提升多轮表格对话的效率和推理的准确性。
检索增强生成：由于在应用中表格推理任务中经常面临知识密集场景，而 LLM 缺乏专家级知识，所以未来工作应该关注基于检索知识增强模型的领域内表格推理能力。表格推理任务中，会面临 LLM 不了解实体含义以致模型难以理解表格，导致模型很难正确回答用户问题的挑战，为了解决这一挑战，未来研究应该关注根据表格中的实体检索来增强。

总结

我们在本文总结了现有用 LLM 进行表格推理的研究工作。在 LLM 时代，继承于前大模型时代的技术，有监督微调和结果集成，仍然有效。另外，独属于 LLM 时代的上下文学习、指令设计，以及逐步推理技术也能用于提升模型的表格推理性能。并且，LLM 在表格推理任务上超越前大模型，因为 LLM 优越的指令追随以及逐步推理能力。

为了启发未来研究，我们探索了未来可提升性能的方向，以及与实际应用结合可扩展的方向。我们总结了现有表格推理的相关资源在 Github，并会持续更新。

参考文献

[1] Jin, N., Siebert, J., Li, D., & Chen, Q. (2022). A Survey on Table Question Answering: Recent Advances. China Conference on Knowledge Graph and Semantic Computing.

[2] Zhao, W.X., Zhou, K., Li, J., Tang, T., Wang, X., Hou, Y., Min, Y., Zhang, B., Zhang, J., Dong, Z., Du, Y., Yang, C., Chen, Y., Chen, Z., Jiang, J., Ren, R., Li, Y., Tang, X., Liu, Z., Liu, P., Nie, J., & Wen, J. (2023). A Survey of Large Language Models. ArXiv, abs/2303.18223.

[3] Pasupat, P., & Liang, P. (2015). Compositional Semantic Parsing on Semi-Structured Tables. Annual Meeting of the Association for Computational Linguistics.

[4] Chen, W., Wang, H., Chen, J., Zhang, Y., Wang, H., LI, S., Zhou, X., & Wang, W.Y. (2019). TabFact: A Large-scale Dataset for Table-based Fact Verification. ArXiv, abs/1909.02164.

[5] Parikh, A.P., Wang, X., Gehrmann, S., Faruqui, M., Dhingra, B., Yang, D., & Das, D. (2020). ToTTo: A Controlled Table-To-Text Generation Dataset. ArXiv, abs/2004.14373.

[6] Yu, T., Zhang, R., Yang, K., Yasunaga, M., Wang, D., Li, Z., Ma, J., Li, I.Z., Yao, Q., Roman, S., Zhang, Z., & Radev, D.R. (2018). Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task. ArXiv, abs/1809.08887.

[7] Zha, L., Zhou, J., Li, L., Wang, R., Huang, Q., Yang, S., Yuan, J., Su, C., Li, X., Su, A., Tao, Z., Zhou, C., Shou, K., Wang, M., Zhu, W., Lu, G., Ye, C., Ye, Y., Ye, W., Zhang, Y., Deng, X., Xu, J., Wang, H., Chen, G., & Zhao, J.J. (2023). TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT. ArXiv, abs/2307.08674.

[8] Zhang, T., Yue, X., Li, Y., & Sun, H. (2023). TableLlama: Towards Open Large Generalist Models for Tables. ArXiv, abs/2311.09206.

[9] Zhong, R., Snell, C.B., Klein, D., & Eisner, J. (2022). Non-Programmers Can Label Programs Indirectly via Active Examples: A Case Study with Text-to-SQL. Conference on Empirical Methods in Natural Language Processing.

[10] Yang, B., Tang, C., Zhao, K., Xiao, C., & Lin, C. (2023). Effective Distillation of Table-based Reasoning Ability from LLMs. ArXiv, abs/2309.13182.

[11] Bian, J., Qin, X., Zou, W., Huang, M., & Zhang, W. (2023). HELLaMA: LLaMA-based Table to Text Generation by Highlighting the Important Evidence. ArXiv, abs/2311.08896.

[12] Sun, R., Arik, S.Ö., Sinha, R., Nakhost, H., Dai, H., Yin, P., & Pfister, T. (2023). SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data. Conference on Empirical Methods in Natural Language Processing.

[13] Ni, A., Iyer, S., Radev, D.R., Stoyanov, V., Yih, W., Wang, S.I., & Lin, X.V. (2023). LEVER: Learning to Verify Language-to-Code Generation with Execution. ArXiv, abs/2302.08468.

[14] Li, Z., & Xie, T. (2024). Using LLM to select the right SQL Query from candidates. ArXiv, abs/2401.02115.

[15] Chen, W. (2022). Large Language Models are few(1)-shot Table Reasoners. ArXiv, abs/2210.06710.

[16] Chang, S., & Fosler-Lussier, E. (2023). Selective Demonstrations for Cross-domain Text-to-SQL. ArXiv, abs/2310.06302.

[17] Gao, D., Wang, H., Li, Y., Sun, X., Qian, Y., Ding, B., & Zhou, J. (2023). Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation. ArXiv, abs/2308.15363.

[18] Nan, L., Zhao, Y., Zou, W., Ri, N., Tae, J., Zhang, E., Cohan, A., & Radev, D.R. (2023). Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies. ArXiv, abs/2305.12586.

[19] Zhao, B., Ji, C., Zhang, Y., He, W., Wang, Y., Wang, Q., Feng, R., & Zhang, X. (2023). Large Language Models are Complex Table Parsers. Conference on Empirical Methods in Natural Language Processing.

[20] Sui, Y., Zou, J., Zhou, M., He, X., Du, L., Han, S., & Zhang, D. (2023). TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning. ArXiv, abs/2312.09039.

[21] Zhang, H., Cao, R., Chen, L., Xu, H., & Yu, K. (2023). ACT-SQL: In-Context Learning for Text-to-SQL with Automatically-Generated Chain-of-Thought. Conference on Empirical Methods in Natural Language Processing.

[22] Ye, Y., Hui, B., Yang, M., Li, B., Huang, F., & Li, Y. (2023). Large Language Models are Versatile Decomposers: Decomposing Evidence and Questions for Table-based Reasoning. Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval.

[23] Pourreza, M.R., & Rafiei, D. (2023). DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction. ArXiv, abs/2304.11015.

[24] Lei, F., Luo, T., Yang, P., Liu, W., Liu, H., Lei, J., Huang, Y., Wei, Y., He, S., Zhao, J., & Liu, K. (2023). TableQAKit: A Comprehensive and Practical Toolkit for Table-based Question Answering. ArXiv, abs/2310.15075.

[25] Kothyari, M., Dhingra, D., Sarawagi, S., & Chakrabarti, S. (2023). CRUSH4SQL: Collective Retrieval Using Schema Hallucination For Text2SQL. ArXiv, abs/2311.01173.

[26] Kong, K., Zhang, J., Shen, Z., Srinivasan, B., Lei, C., Faloutsos, C., Rangwala, H., & Karypis, G. (2024). OpenTab: Advancing Large Language Models as Open-domain Table Reasoners.

[27] Xue, S., Jiang, C., Shi, W., Cheng, F., Chen, K., Yang, H., Zhang, Z., He, J., Zhang, H., Wei, G., Zhao, W., Zhou, F., Qi, D., Yi, H., Liu, S., & Chen, F. (2023). DB-GPT: Empowering Database Interactions with Private Large Language Models. ArXiv, abs/2312.17449.

[28] Wang, T., Lin, H., Han, X., Sun, L., Chen, X., Wang, H., & Zeng, Z. (2023). DBCopilot: Scaling Natural Language Querying to Massive Databases. ArXiv, abs/2312.03463.

[29] Wang, B., Ren, C., Yang, J., Liang, X., Bai, J., Zhang, Q., Yan, Z., & Li, Z. (2023). MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL. ArXiv, abs/2312.11242.

[30] Jiang, J., Zhou, K., Dong, Z., Ye, K., Zhao, W.X., & Wen, J. (2023). StructGPT: A General Framework for Large Language Model to Reason over Structured Data. ArXiv, abs/2305.09645.

[31] Nan, L., Zhang, E., Zou, W., Zhao, Y., Zhou, W., & Cohan, A. (2023). On Evaluating the Integration of Reasoning and Action in LLM Agents with Database Question Answering. ArXiv, abs/2311.09721.

[32] Cao, Y., Chen, S., Liu, R., Wang, Z., & Fried, D. (2023). API-Assisted Code Generation for Question Answering on Varied Table Structures. ArXiv, abs/2310.14687.

[33] Cheng, Z., Xie, T., Shi, P., Li, C., Nadkarni, R., Hu, Y., Xiong, C., Radev, D.R., Ostendorf, M., Zettlemoyer, L., Smith, N.A., & Yu, T. (2022). Binding Language Models in Symbolic Languages. ArXiv, abs/2210.02875.

[34] Zhang, Y., Henkel, J., Floratou, A., Cahoon, J., Deep, S., & Patel, J.M. (2023). ReAcTable: Enhancing ReAct for Table Question Answering. ArXiv, abs/2310.00815.

[35] Saha, S., Yu, X.V., Bansal, M., Pasunuru, R., & Celikyilmaz, A. (2022). MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation. ArXiv, abs/2212.08607.

[36] Wang, Z., Zhang, H., Li, C., Eisenschlos, J.M., Perot, V., Wang, Z., Miculicich, L., Fujii, Y., Shang, J., Lee, C., & Pfister, T. (2024). Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding. ArXiv, abs/2401.04398.

[37] Yin, P., Neubig, G., Yih, W., & Riedel, S. (2020). TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data. ArXiv, abs/2005.08314.

更多阅读