摘要

表格这种二维结构的数据容器，它的重要性显而易见——小到日常的数据库查询、电子表格计算，大到从网页表格里扒数据、写报告，每天都在用。而大语言模型（LLM）如果能把这些活儿自动化，那给公众带来的好处绝对不是一星半点，学术界和工业界自然盯得紧紧的。这篇综述把表格任务捋得很全，不只是表问答（Table QA）和事实验证这些老面孔，还包括了新强调的玩法，比如表格操作和高级表格数据分析。更关键的是，它把眼光投向了LLM时代的新范式，而不是像早期那样只盯着预训练和微调那些小模型。重点，放在了指令微调、提示工程和基于大模型的方法上。最后，几个绕不过去的挑战也摆在了桌面上：私有化部署、高效推理，以及为表格操作和高级数据分析开发更广泛的基准测试。

1 引言

先说几个核心判断：我们生活在一个数据驱动的时代，一多半有价值的数据都是以表格的形式结构化和存储的 [Dong et al., 2022]。你每天干的那些事儿——数据库查询、电子表格计算、网页表格导出报告——哪个离得开表格？有些活儿又烦人又容易出错，还有些活儿需要专业技能，普通人根本玩不转。要是能把它们自动化，那对公众的效率提升，想想都激动。所以，学术界和工业界扎堆往里冲，也就一点不奇怪了 [Badaro et al., 2023]。

最近，大语言模型（LLM）在各个任务上都展现了灵活性和有效性，AI研究算是实打实地跨了一大步 [Zhao et al., 2023a]。这自然也撩得大家心痒痒：能不能让LLM来搞定表格任务？但是，表格跟LLM预训练时吃的纯文本，完全是两码事。

表格和自然语言语料库 [Raffel et al., 2020] 有三点不一样，非常关键。

• 结构化数据： 表格天生就是结构化的，行和列构成网格，每个列有自己的模式，把数据的语义和相互之间的关系说得很清楚。人看表格，横着看竖着看都没问题，但主要用顺序文本训练的LLM，想理解表格的二维特性，那就难了。

• 复杂推理： 表格处理任务往往涉及数值运算（比如比较、聚合）、数据准备（比如列类型标注、检测缺失值），还有更高阶的分析（特征工程、可视化）。这些活儿要求模型能把问题拆成多个步骤，还得懂逻辑操作，对机器智能来说，是块硬骨头。

• 利用外部工具： 现实里，人类干活儿都离不开专业工具——Excel、Python、SQL什么的。LLM要真想搞定表格，就得学会熟练地集成和调用这些外部工具。

表格任务的这些特性，决定了我们必须专门为它定制LLM。早期的研究像 TaBERT [Yin et al., 2020]、TaPas [Herzig et al., 2020]、TURL [Deng et al., 2020] 和 TaPEx [Liu et al., 2022]，走的都是预训练或微调表格神经语言模型的路子。它们在模型架构上做了改进——位置嵌入、注意力机制、预训练任务的目标，都动了手术。结果不错，但主要局限在特定的表格任务上（比如Table QA和事实验证），而且用的BERT或BART模型无论规模还是多样性，都不足以应付更宽泛的表格任务。LLM时代的新方法，则从三个方向发力：

(1) 整理指令微调数据集，微调出一个能处理各种下游任务的“表格基础模型” [Zhang et al., 2023a; Li et al., 2023d]；

(2) 直接提示LLM，利用它强大的推理能力来理解表格数据 [Sui et al., 2024]；

(3) 搭建一个由LLM驱动、能调用外部工具的大模型 [Hu et al., 2024; Li et al., 2023b]。这些新方法用上了LLM的特殊技术——指令微调 [Wei et al., 2022a]、上下文学习 [Brown et al., 2020]、思维链推理 [Wei et al., 2022b]，以及自主大模型的开发 [Wang et al., 2023a]——路子更多样、更全面了。

这篇综述的主要贡献在于覆盖面够广，把最近才冒出来的表格操作和高级数据分析都收进来了。另外，它按照LLM的最新范式来归类方法，重点看指令微调、提示工程和LLM驱动的大模型方法。相关的论文、代码、数据集，都可以从下面这个地址找到。

跟相关调查相比。早期的综述，比如 Dong et al. [2022] 和 Badaro et al. [2023]，主要盯着BERT [Herzig et al., 2020; Yin et al., 2020] 或 BART [Liu et al., 2022] 这些小模型的预训练或微调技术，LLM的方法基本没涉及，特别是提示策略和大模型。还有一些综述只盯着表格任务的某个子集，比如 Jin et al. [2022] 只看Table QA，Qin et al. [2022] 只关注文本到SQL，把表格操作和高级数据分析给晾在一边了。

2 表格任务和基准测试

表格几乎是每个领域组织和管理知识与信息的通用数据结构。下面，我们把表格任务和基准测试快速捋一遍。

2.1 表格定义

这篇文章主要关注结构化表格——就是按行和列排列的那个单元格网格 [Zhang and Balog, 2020]。每一列代表一个特定属性，每个属性都有自己数据类型（数字、字符串、日期这些）。每一行是一条记录，填充了各种属性值。单元格是行和列的交叉点，是存文本、数值、公式等等的基本单元 [Dong et al., 2022]。二维结构给数据赋予了模式，包括列名、数据类型、约束，以及和其他表格的相关关系。表格的存储形式和呈现方式主要有以下几种：

• 电子表格（SS）。全球十分之一的人都在用电子表格 [Rahman et al., 2020]。微软Excel是桌面端最流行的，它有自己文件格式（xlsx），内置公式、数据可视化，甚至还能用VBA编程。

• 网页表格（WT）。网络上表格多得是，为了各种目的创建，信息量很大。它们格式五花八门，从HTML表格，到markdown、JSON、XML文件都有。网页表格在列类型标注、实体链接这些应用里已经证明了自己的价值 [Zhang and Balog, 2020]。

• 数据库（DB）。数据库里的表格结构化程度最高。每个表创建时模式就定义得清清楚楚。表之间的关联靠外键来描述 [Li et al., 2023a]。跟电子表格和网页表格不同，跟数据库表打交道需要使用编程语言或SQL，所以主要面向有编程经验的人。

2.2 表格和文本之间的区别

很多AI方法直接把文本建模技术搬到了表格上，所以得先想清楚表格和文本到底差在哪。Li et al. [2023d] 把这些区别总结得很明白。文本是：（1）单向的；（2）通常从左到右读；（3）两个词一换，句子的意思往往就变了。而表格是：（1）二维的，得横着看竖着看都行；（2）理解它严重依赖模式或标题名称；（3）行和列的排列顺序对它没什么影响。

2.3 表格任务

分类

表1展示了我们对表格任务的分类。表格问答（Table QA）和事实验证是老祖宗级别的任务。我们把它们归为一类，因为都涉及从表格里提取知识来回答问题。表格到文本是根据表格数据来生成描述。表格操作是修改或更新表格的，比如增删行、通过求和其他列来创建新列等等。表格解释任务是通过推断列和行的语义来理解表格的结构和内容。表格增强涉及填充行、列名或单元格。文本到SQL是把自然语言问题转成机器能懂的SQL。高级数据分析是那些需要复杂推理或创造力的活儿，比如特征工程、数据可视化。

最终用户的视角

研究人员往往只盯着设计新方法来提高基准测试分数。但最终用户关心的，是表格AI系统能不能真正提高他们的生产力，基准测试细节是谁在乎啊。最终用户的需求也不一样：普通用户需要表格查询和操作能力；数据工程师则更需要表格数据准备和高级分析工具。

表格查询和操作——指表1里的前三个类别（表格QA、表格到文本、操作）。这活儿就是查表格，或者用NL生成文本描述，或者用电子表格管表格。大多数用户不用编程就能搞。AI系统应该让大家通过NL问题或指令来处理表格。

表格数据处理——指表1里的解释和增强任务。这些活儿通常是数据工程师在数据准备阶段干的。

高级表格分析——指表1里的文本到SQL和高级数据分析任务。这些活儿面向数据工程师，他们需要AI帮忙补全代码、提高生产力。

输入和输出

表1里，我们整理了表格任务常用的数据集和基准测试。这些任务通常涉及两种输入：知识输入（反映了输入表格的格式）和用户输入（用户的问题或指令）。把输入和输出标注清楚，能帮助工程师和产品经理更好地理解这些表格任务，设计出更有效的系统功能。

2.4 基准测试和评估方法

（表2：不同基准的评估指标。我们用的缩写：EX：执行准确度，VES：有效效率得分，EM：精确匹配，ABP：按问题准确度，APSQ：按子问题比例准确度，AUSQ：子问题均匀准确度，P：精确度，R：召回率。）

老牌的基准测试——WikiTQ、WikiSQL、Spider——已经被研究得很透了，这里就不细说了。咱们重点看看新基准。表2列出了最近提出的数据集和基准测试，包括来源、大小和指标。我们把新基准的特点总结如下：

• 鲁棒性。对大多数表格任务（比如Table QA）来说，交换行和列，或者用同义词、缩写替换列名，不应该影响最终结果。对于一个大表格（装不进LLM上下文的那种），所需单元格在表格的开头、结尾还是中间，也不该影响查询结果。为了评估鲁棒性，Dr. Spider [Chang et al., 2023]、RobuT [Zhao et al., 2023b] 和 Observatory [Cong et al., 2023] 被提了出来。RobuT和Observatory的结果揭示了一个尴尬的事实：一旦引入扰动，所有表格方法的性能都会下降，但闭源LLM（比如GPT-3）的鲁棒性更强。

• 人工参与标注。一些新基准（针对高级数据分析任务的），在数据生产过程中需要大量手动标注。最近，研究人员开始用AI来自动化复杂的数据分析任务，比如用Python画图或操作电子表格。DS-1000 [Lai et al., 2023] 和 InfiAgent-DABench [Hu et al., 2024] 就是用来评估高级数据分析任务的。它们从网上搜集数据，然后自动或半自动地做标注。DS-1000从StackOverflow抓问题，手动评估有用性，挑出一些形成基准。作者通过给测试用例提供输入输出上下文、改写问题以防被LLM学走、实现多标准可执行文件，手动调整了原始问题。InfiAgent-DABench则邀请了人类专家来评估数据集质量，并通过多个指标来比较人工和GPT-4生成的数据分析问题。

• 更大规模。AnaMeta [He et al., 2023] 是个超大规模表格元数据集，GitTables [Hulsebos et al., 2023] 从GitHub上扒了几百万个CSV表格，还和知识库对齐了。这两个数据集可以用来评估AI系统是否真的理解了表格模式，能不能完成列类型标注这些基准任务。

评估指标

我们在表2里列出了每个基准测试的评估指标。有些基准采用了或改进了经典评估方法。比如DS-1000用了Pass@K——代码生成任务里的常用指标。有些新基准自己设计了指标，比如InfiAgent-DABench引入了按问题准确度（ABQ）和按子问题比例准确度（APSQ）。如果所有问题和子问题都成功完成，这两个值都会是1。很多表格任务有多个标准答案。但有些评估流程还没法准确评估不同解决方案的优劣。比如评估电子表格操作的SheetCopilot，只能大致验证列名的正确性，单元格的内容就没法查。

3 表格LLM的分类

为了把现有方法总结清楚，我们基于图1的两个维度做了个分类。第一个维度看方法是基于训练还是基于提示。第二个维度看结果是从模型参数直接得出，还是需要靠智能体。这样一来，图1就划出了四个象限：提示、训练、提示+智能体、训练+智能体。

左上象限包括那些直接提示LLM、不需要外部工具的方法，比如直接提示GPT-3 [Brown et al., 2020] 或 Codex [Chen et al., 2021a]。第4节会深入探讨基于训练的方法，第5节讲表格任务的提示技术，第6节谈LLM驱动的智能体。

4 表格LLMs训练

研究人员提出了各种表格语言模型（TaLM），希望在处理表格特性的同时，还能保留理解文本的能力。这些方法可以分成三种：（1）任务特定微调；（2）指令调整；（3）检索增强。

4.1 任务特定微调

这类方法会动手修改模型结构、编码方法和训练目标，来迎合表格任务。比如 TaPas [Herzig et al., 2020] 扩展了BERT [Devlin et al., 2019] 的模型架构和掩码语言建模目标，来对表格和相关文本段落做预训练和微调。TaBERT [Yin et al., 2020] 只编码与输入话语最相关的表格内容子集，还用了垂直注意力机制。TURL [Deng et al., 2020] 把表格组件（标题、标题行、单元格）的信息编码进单独的输入嵌入，然后融合在一起。TABBIE [Iida et al., 2021] 通过修改训练目标来检测损坏的单元格。TaPEx [Liu et al., 2022] 从可执行的SQL查询中自动合成得到语料库，然后学习这个语料。RESDSQL [Li et al., 2023a] 在训练时把最相关的模式项注入模型，推理时则对模式项排序来找到最优项。

任务相关性。这些方法与任务绑得更紧，因为它们从一开始就是针对特定目标来预训练或微调的。但它们使用的基础模型相对较小，没法适应各种下游任务，而且微调时需要标注数据。

4.2 指令调整

与在单一数据集上微调不同，指令调整是在多个数据集的集合上微调语言模型。这样做能显著提升在未见任务上的表现，灵活性也更高 [Wei et al., 2022a]。受此启发，出现了两类指令调整工作。

第一类研究侧重于提升LLM对表格的理解力，让它能处理各种表格任务——表格QA、表格到文本、解释都属于这个范畴。它们使用通用基础LLM（比如GPT），并用大量表格相关数据进行指令调整。代表工作有 UnifiedSKG [Xie et al., 2022]、TableLlama [Zhang et al., 2023a] 和 Table-GPT [Li et al., 2023d]。这被称为“表格指令调整”。

第二类研究，从代码生成的角度切入，把需要生成代码的任务（如文本到SQL、高级数据分析）视为代码生成的一个子领域。因此，它们选择在专门为编程设计的LLM（如CodeLlama [Roziere et al., 2023]）上进行指令调整。代表工作有 Magicoder [Wei et al., 2023]、Lemur [Xu et al., 2024] 和 DAAgent [Hu et al., 2024]。我们称之为“代码指令调整”。正如前人研究所指出的 [Wei et al., 2022a]，数据质量对指令调整至关重要；对表格任务来说，核心问题就是如何构建高质量的数据集。

表格指令调整。 这类研究通过利用多个现有的表格相关数据集来构建指令调整数据集，然后在LLM上做微调。它们的数据集实例以（指令、表格、完成）三元组的形式出现。每个三元组里的“指令”标明任务，“表格”提供元数据和内容，“完成”则是自然语言输出——比如表格QA的答案、表格到文本的转换文本、操作后的结果表格，或者文本与表格的混合体。模型就是靠这些学会执行任务的。为了构建高质量数据，Table-GPT采用了“先合成再增强”的策略。它用18种合成过程创建数据集，从表格QA一直覆盖到数据增强。举个例子，让模型交换行或列，完成就是交换后的表格，这样模型就能理解行/列的顺序了。TableLlama和UnifiedSKG则使用来自现有数据集的真实数据（如WikiTQ或Spider），而不是合成数据。这些论文表明，经过表格指令调整后，LLM能展现出强大的泛化能力，处理从未见过的表格任务。

代码指令调整。 这类研究涉及构建代码数据集并对模型进行指令调整。Magicoder先收集开源代码片段，然后用它们当种子来提示LLM生成编码问题和解决方案。DAAgent是一系列专注于数据分析的专业智能体模型。它的指令调整数据集，是通过从GitHub爬取CSV，再基于这些CSV生成数据分析问题和解决方案来制作的。作者认为，LLM驱动的智能体依赖后端模型来掌握通用能力（比如推理和规划），这些能力可以通过自然语言文本学到；但它还需要落地编程技能，这些则应该从代码中学。因此，他们构建了一个代码与文本比例10:1的语料库来训练模型。这些研究表明，使用代码指令调整的模型在编程技能和数据分析协作上都有提升。

4.3 检索增强调整

就像DPR [Karpukhin et al., 2020] 为开放域QA做的那样，检索增强的表格流程由两个神经组件组成：一个检索器，从所有表格候选池里选出一个小子集；一个阅读器，通过分析每个表格候选来生成答案。两个组件都是微调编码器，负责把项目（比如QA问题和表格内容）编码成嵌入。两个研究例子是 ITR [Lin et al., 2023a] 和 LIRAGE [Lin et al., 2023b]；它们把大表格拆成子表格，然后联合训练检索器和阅读器。DB-GPT [Xue et al., 2023] 是一个工业产品，支持检索增强生成、微调和智能体等多种功能。

4.4 总结和讨论

基于训练的方法可控性很好，企业可以自己训练和部署，不用担心数据泄露给第三方模型服务商。

可转移性。在LLM出现之前，任务特定微调方法主要是在BERT或BART这类模型上做预训练或微调。LLM和指令调整的成功，暴露了老方法的缺点。这些任务特定模型必须设计专门的神经模型，还得依赖标注数据，可转移性显然很差。

成本和准确性。在LLM上进行表格指令调整确实取得了不错的结果，泛化能力也更好了，但两个问题绕不过去：成本和准确性。预训练或微调一个大模型的成本是巨大的——即使微调一个7B模型，也需要八个80GB GPU，这可不是所有机构都能轻松掏得起的。而且，指令调整方法的准确性并不总是最优的，跟直接提示闭源LLM相比，还有差距。比如在某些任务上，7B的TableLlama就没能超过任务特定微调的模型。在数据分析任务上，Lemur和DAAgent这些指令调整模型也没能超越GPT-4。TableGPT在GPT-3.5上继续训练，在所有表格相关任务上都超过了GPT-3.5和ChatGPT。

但对想私有化部署的普通企业来说，训练成本高得让人望而却步。训练数据方面，手动标注的成本也很高。虽然合成数据是个便宜的选择，但数据质量又是另一个问题。更普遍的做法是用GPT当教师模型来标注数据——显然，GPT本身就成了性能的上限。