这项由弗吉尼亚理工大学、伊利诺伊大学厄巴纳-香槟分校、威斯康星大学麦迪逊分校及加州大学伯克利分校共同完成的研究，于2026年6月发布，论文编号为arXiv:2606.04261。对技术细节感兴趣的读者，可以通过这个编号找到完整的原始论文。

一个你或许从未留意过的问题

每当听到某款AI模型变得更强大、更好用，其背后往往都隐藏着一项不那么引人注目、却至关重要的工作——为它“投喂”数据。训练一个AI，远不止是编写代码、搭建网络架构那么简单。真正的核心，在于如何从海量信息中精心挑选、整理出高质量的训练材料。这就像为一位挑剔的厨师准备食材：你得决定选用哪些、用量多少、如何搭配，还要剔除那些“坏掉”的部分——而且，这个过程通常需要反复试错，一次又一次地调整，才能端出一道令人满意的“菜肴”。

问题在于，这套“筛选食材”的工序，长期以来一直高度依赖经验丰富的人类专家，不仅耗费时间，而且异常辛苦。那么，能不能让AI自己来完成这件事呢？这正是本项研究所要探讨的核心课题。

研究概要

研究团队推出了一套名为CURATION-BENCH的评估框架，专门用来测试通用型AI编程助手——也就是那些能够编写代码、运行命令、查看日志的智能体——是否能够胜任“数据策展”这项任务。所谓数据策展，通俗地讲，就是从一大堆原始训练数据中，按照某种策略挑选出最有价值的部分，用于模型训练，同时还要根据模型的表现不断调整这个策略。

这项研究的核心发现可以用一句话概括：当前的通用AI智能体已经能够将数据筛选的流程“运转起来”，而且效果相当不错。但是，如果你只对它说一句“帮我优化一下训练数据”，它基本上只会原地打转，做一些小修小补的调整，而不会主动去探索全新的筛选方法——除非你提前为它搭建好“脚手架”，明确告诉它必须参考、借鉴并改造已有的研究方法。

一、数据策展这件事，到底有多重要又多繁琐

要理解这项研究，首先得搞清楚“数据策展”在AI开发中究竟扮演着什么样的角色。

现代AI模型的能力，很大程度上取决于它被灌输了什么样的数据。这就像一个人的成长，环境和接触到的知识类型，对其最终的能力有着决定性的影响。一个只读过武侠小说的孩子，很难在化学竞赛中取得好成绩。同样的道理，一个被大量低质量、重复或无关数据“喂养”的AI，其表现自然也大打折扣。

研究人员很早就注意到，精心挑选训练数据的效果，有时甚至远超单纯扩大模型规模。用10%的精华数据训练出来的模型，可能比用100%的原始数据效果更好——前提是你选得足够准。于是，数据筛选、去重、混合、重写等一系列操作，逐渐成为了AI开发中的核心环节。

不过，这些操作目前大多还是人工完成的，并且需要持续迭代：先提出一个筛选策略，再实现它，拿它去训练模型，查看评估结果，发现不行，再调整策略，再训练……这个循环可能要重复几十轮。每一轮都需要判断力、创造力以及扎实的领域知识。这种高度依赖人力的流程，正是研究团队想要实现自动化的目标。

过去的研究，要么只关注“用什么方法筛选数据”，要么只关注“AI能否自主开展机器学习实验”，但通常都是优化模型结构或训练参数，而不是优化数据本身。CURATION-BENCH就是为了填补这个空白——它是第一个专门评估AI智能体能否自主完成数据策展“迭代探索循环”的框架。

二、CURATION-BENCH：一个怎样的测试场

研究团队为这项测试搭建了一套精密的“竞技场”。理解它的规则，才能看懂后面的比赛结果。

整个系统的运作逻辑是这样的：AI智能体面对一个庞大的候选数据池，手里有一套固定不变的模型架构和训练方案，以及一套固定的评估题目。智能体唯一能控制的变量，就是“从数据池里选哪些数据来训练”。它可以查看数据、编写筛选脚本、提交候选数据集，然后系统会自动用固定的配方训练模型，再运行评估，把分数反馈给智能体。它再根据反馈调整策略，进入下一轮。

这里有几个关键设计值得多说两句。第一，整个过程是在一个真实的命令行终端环境里进行的，智能体需要写代码、运行命令、调试错误、读取日志——这与真实的开发工作高度一致，而不是在一个简化版的玩具环境里。第二，每次提交的数据集在送去训练前，都会经过一道“污染检查”——系统会自动核查训练数据中是否包含了评估题目的答案，防止智能体“作弊”。第三，整个探索过程的每一步都会被完整记录下来，包括筛选脚本、数据清单、训练结果和智能体的分析笔记。这样，研究人员不仅能看到最终得了多少分，还能分析智能体在这过程中的“思考路径”。

这套框架主要测试两种能力：一是最终筛选出来的数据质量有多高；二是智能体的探索过程有没有深度——它是在系统性地尝试不同的策略方向，还是只在一个小圈子里反复调整参数。为此，研究团队设计了一套评分标准，给每一轮迭代打上四个维度的标签：是否尝试了全新的策略方向、是否有具体证据支撑决策、是否实际提升了效果、还是仅仅停留在表面的浅层调整。

实验的主要场景，是视觉语言模型的指令调优。具体来说，就是从LLaVA-665K这个包含约66.5万条多模态对话数据的数据池里，只挑选出1万条数据，用来微调LLaVA-1.5-7B这个视觉语言模型，然后在8个多模态理解评估任务上打分。这个场景非常考验数据选择能力，因为数据来源多样（包括图文对话、OCR识别、视觉问答等多种类型），没有哪一种单一的筛选标准能够通吃所有的评估任务。

三、没有任何提示的智能体，表现如何？

在测试中，研究团队首先让几个通用型AI编程助手——包括Anthropic公司的Claude Code、OpenAI的Codex，以及通过OpenHands框架运行的Kimi K2.5和Qwen3.5-397B——在“不加任何额外提示”的条件下自由发挥。智能体被告知任务目标和操作规则，然后全凭自己的判断来筛选数据、迭代改进。

结果出乎意料地好。所有这些通用智能体，在跑完10轮迭代之后，都超过了“随机选1万条数据”的基准线，而且大多数都达到甚至超过了人类专家精心设计的专项筛选方法（比如ICONS和ARDS这两个已发表的数据选择方案）。

以表现最好的Claude Code为例，它最终拿到了33.7分（8个评估任务的平均分），而随机选取的最好成绩只有32.5分，两个人类设计的基准分别是33.3分和33.2分。从“基础模型到全量数据微调所能带来的提升空间”这个角度来衡量，Claude Code用仅1.5%的数据量，就恢复了59%的提升效益。换句话说，它用不到全部食材的零头，就烹调出了超过六成的美味。

执行的可靠性也相当惊人。在超过500轮次、50多个会话的实验中，智能体造成的崩溃次数不足10次，而且没有任何一次崩溃彻底毁掉当次会话。这意味着，让AI智能体运行数据策展的“流水线”，在技术上已经完全没有障碍。

这个发现本身已经很有价值：在不需要专门为数据策展任务定制的情况下，通用编程智能体就能跑通整个迭代循环，并达到与人类专家基准相当的水平。

四、但仔细查看它们的“思维过程”，却藏着一个大问题

然而，当研究团队拿出“轨迹分析”工具，仔细翻阅这些智能体在10轮迭代里究竟做了什么时，他们发现了一个持续存在的模式，这个模式揭示了当前AI智能体在“做研究”方面的深层局限。

以Claude Code的一次典型会话为例：第一轮，它做了一个还算不错的尝试——对数据按来源类别做了均衡分配，还对OCR类数据做了加权。这是一个新策略，有一定道理，也确实提升了分数。但从第二轮开始，几乎所有轮次都是在第一轮的基础上进行微调：CODA类数据给多少条、GQA类给多少条、TextVQA类给多少条……就这么反复调整，始终没有跳出“调整各数据来源的比例”这个圈子。

这就是研究团队所说的“执行与研究之间的鸿沟”。智能体能很顺畅地把数据策展的流程跑完，但它只会停留在第一个找到的“能用”的策略方向上不断打转，很少主动去探索完全不同的策略——比如基于训练动态来筛选数据、基于语义多样性来采样、或者基于数据质量评分来做过滤，等等。

研究团队通过统计每轮迭代的四类标签，把这个问题量化了出来。在开放提示条件下，智能体只有大约27%的轮次真正尝试了新的策略方向，57%的轮次有具体证据支撑决策，而多达47%的轮次属于“浅层调整”——那种“上一轮这样做有点效果，那这一轮就多加一点”的操作，听起来像在做研究，实际上只是在盲目摸索。

智能体的“分析笔记”里，写的通常是这样的话：“上一轮GQA的效果不错，尝试增加GQA比例”，或者“OCR数据可能对相关评估有帮助，适当提升OCR占比”。这些表述听起来有模有样，但实际上缺乏真正的分析依据，也没有形成可验证的假设。研究团队把这种现象称为“感觉优化”：计划看起来像在做数据研究，但实际操作的标准却模糊不清。

即便给智能体提供了一份列出各种可能策略的“备忘单”，或者给它看了相关的学术论文摘要，情况也没有根本改变。智能体会在笔记里提到更多方法的名字，但真正落实到代码里的，依然是改改数字、换换比例这类低成本操作。

五、“脚手架”能打破这个困局吗？

找到了问题所在之后，研究团队设计了一系列干预措施，用来观察不同程度的“辅助结构”对智能体行为的影响。这些干预措施被称作“脚手架”——就好比建筑施工时搭的临时支撑，它不改变最终建筑的设计，但能帮助施工人员更有效率、更安全地干活。

研究团队设计了两类脚手架，对应不同程度的干预。较轻的两种脚手架属于“意识层面”的干预：一种是为智能体提供一份策略清单，列出各种可能的数据策展方向；另一种是把相关学术论文整理成结构化的“技能卡片”，让智能体可以按需查阅。这两种脚手架都只提供信息，并不强制它做什么。

较重的两种脚手架则属于“流程约束”：一种要求智能体在每轮迭代开始前，必须写下一份包含“观察-假设-预期效果-最小改动”四个要素的研究计划，而且观察必须来自具体的数据或评估结果，不能凭空发挥；另一种更严格，要求每一轮（除了初始基准轮之外）都必须引用一篇具体的学术论文或技能卡片，解释为什么这个方法适用、如何把它改造成实际可用的筛选策略，并在提交前验证数据集的格式合法性。

实验结果显示，轻型脚手架确实改变了智能体“说什么”，但并没有根本改变它“做什么”。提供策略清单后，智能体尝试新策略方向的比例从27%上升到43%，但最终的分数并没有比无脚手架条件更高。提供技能卡片后，有证据支撑的决策比例从57%升至70%，浅层调整比例从47%降至37%，但同样没有突破原有的分数上限。

重型脚手架的效果则截然不同。强制要求引用并改造论文方法的脚手架，使“尝试新策略方向”的比例跃升至67%，“有据可查”的比例达到了100%，“浅层调整”的比例降为0%。更关键的是，最终分数出现了实质性的突破。

在最强脚手架条件下，Claude Code走出了以往从未探索过的方向：它先用EL2N方法（一种通过模型在早期训练中的误差信号来判断每个样本学习难度的技术）筛选出“高学习价值”的样本，再叠加一个过滤器，剔除那些损失值极高但很可能是噪声或错误标注的样本。这个组合策略最终拿到了34.9分——不仅超过了无脚手架智能体的最好成绩34.0分，甚至超过了使用10倍数据量（10万条而非1万条）的人类设计基准方案ARDS（34.1分）和ICONS（34.5分）。

这个结果意味着什么？这说明智能体并不是因为“不知道”这些更高级的方法才不去用——事实上，当被强制要求参考文献时，它能够理解这些方法，并将其改造成可用的代码。真正的瓶颈在于，如果没有外部约束，智能体就会本能地选择实施成本最低的改动，而不会主动去承担“理解一个新方法并把它落地”所需的认知和编码成本。

不过，这里有一个微妙的点值得注意：重型脚手架并不总是“越重越好”。要求写研究计划的那个脚手架，虽然把有据可查的轮次比例拉到了91%，但最终的平均分却低于无脚手架条件。这说明，脚手架的设计效果差异很大，需要仔细权衡——约束太松，智能体依然在原地打转；约束太紧或者方向不对，又可能干扰探索效率。

六、跑更多轮次有没有用，以及其他扩展实验

研究团队还探索了几个有趣的延伸问题，进一步丰富了整体的图景。

第一个问题是关于迭代轮次的：如果给智能体更多轮次，它的表现会持续提升，还是会很快触及天花板？实验将轮次从10扩展到50。结果发现，在无脚手架条件下，平均分在50轮内仍在缓慢上升，没有出现明显的停滞迹象；在强脚手架条件下，最高分在最初10轮内就已经出现，但额外的迭代有助于降低方差、稳定平均表现。这说明，迭代次数本身就是一种有意义的“计算资源”——当你没有更多原始数据可用时，多花点计算量在数据策略的探索上，同样能带来回报。

其次，研究团队把实验从“数据筛选”延伸到了“数据改写”：让智能体不仅可以选择数据，还可以调用外部语言模型对选定的样本进行重写改造，然后再提交训练。结果相当不错——使用Qwen3.5-9B作为改写工具的智能体，在20轮迭代后达到了34.7分，恢复了全量数据微调71%的提升效益，比简单的模板式改写方法高出整整25个百分点。这表明，CURATION-BENCH这个框架不仅适用于纯筛选任务，同样能够评估更复杂的数据变换操作。

此外，实验还测试了不同数据集（Vision-Flan）、不同模型（SmolVLM-Base、Qwen2-VL-2B、Qwen2.5-VL-3B）以及CLIP预训练场景下的表现。在这些扩展场景中，智能体都稳定地超越了随机选取基准，说明这套方法论具有相当的普适性，并不只对特定任务有效。

七、这项研究告诉了我们什么，以及它的边界在哪里

归根结底，这项研究回答了那个实际的问题：现在的通用AI编程助手，能替代人类专家来做数据策展吗？

答案是：部分可以。在执行层面，它们已经相当靠谱，能完整地运行整个迭代流程，效果也接近人类专家设计的基准方案。但在研究层面，它们依然不够自主——如果没有外部结构约束，它们倾向于在局部空间里打转，而不是像真正的研究人员那样，系统性地去探索未知领域。

研究团队指出，这两种能力对应的是两类截然不同的任务。执行类任务有明确的目标、清晰的反馈信号，做好了就是做好了；研究类任务的目标模糊，策略空间不连续，反馈稀疏且嘈杂，没有先验知识很难知道该往哪个方向走。数据策展就属于后者。这也是为什么给智能体一份论文方法库并要求它必须参考，能显著改变其行为——这相当于给了它一张“地图”，告诉它未知领域里有哪些值得探索的方向。

当然，这项研究也有自身的局限性。实验主要集中在视觉语言模型的指令调优场景，对于纯文本预训练、代码生成、数学推理等其他场景的结论是否适用，还需要进一步验证。脚手架的比较实验也不是完全受控的——重型脚手架同时改变了多个因素，因此很难精确判断是哪个环节真正起了作用。此外，轨迹标签的打分需要人工（或语言模型辅助）判断，本身也引入了一定的主观性。

尽管如此，这项工作提出的框架和发现，为后续研究者提供了一个清晰的出发点。如果想让AI智能体真正成为数据研究的主力，不仅需要更强的基础模型能力，还需要更好的脚手架设计——那种能把前人积累的方法论知识，转化为智能体可以直接参考和改造的行动指南的结构性工具。

说到底，这项研究讲了一件让人既振奋又清醒的事：AI已经能帮我们把繁琐的数据筛选流程运行起来，而且运行得还不错——但如果你期待它像一个有经验的研究员那样，独立地提出新思路、突破既有框架，目前还需要我们为它搭好脚手架、指明方向。这并不意味着AI不够强，而是因为这类工作本身就需要一种特殊的能力：在嘈杂的反馈信号中，判断出什么值得深挖、什么只是噪声。而这种能力，即便是人类自己，也需要花很多年才能培养出来。

有兴趣进一步探索这个方向的读者，可以通过arXiv编号2606.04261找到完整论文。研究团队也在GitHub上开放了代码和评估框架（项目名为curation-bench），可供直接复现和扩展。

Q&A

Q1：CURATION-BENCH框架测试的是AI智能体的什么能力？

A：CURATION-BENCH测试的是AI编程智能体能否自主完成训练数据策展的迭代循环，具体包括：查看候选数据池、编写筛选策略代码、提交数据集、根据模型训练评估反馈调整策略，再进入下一轮。它同时评估最终数据质量和智能体的探索过程是否真正多样、有据可查。

Q2：给AI智能体提供论文参考，为什么能显著改善数据筛选效果？

A：因为数据策展的策略空间非常大，而且不连续。智能体在没有引导时，会本能地选择实施成本最低的局部调整，而不会主动去了解并落地更复杂的新方法。强制要求引用并改造论文方法，相当于给智能体提供了一张“地图”，让它知道还有哪些高价值的策略方向值得探索，从而突破局部最优的困境。

Q3：用1万条精选数据训练视觉语言模型，真的能接近用66万条全量数据训练的效果吗？

A：根据CURATION-BENCH的实验结果，在最优脚手架条件下，从LLaVA-665K中选出的1万条数据，能够恢复全量数据微调所带来提升空间的约63%到71%。这说明，高质量的数据选择确实能在数据量只有全集约1.5%的情况下，获得相当可观的训练效益。但距离完全复现全量数据的效果，仍有一定差距。