游乐游手机版
首页/AI热点日报/热点详情

提示词工程论文入选ICML 2026引发网友热议

类型:热点整理2026-07-17
一个令人意外的消息传来:提示词工程(Prompt Engineering)相关论文,竟然也能被ICML 2026接收? 事件起因于Reddit上一名用户分享了一篇刚刚被ICML 2026收录的论文,帖子迅速引爆讨论,评论数急剧攀升。然而,所有读者的反应出奇一致:这也行? 该论文并未提出全新优化算法,

一个令人意外的消息传来:提示词工程(Prompt Engineering)相关论文,竟然也能被ICML 2026接收?

事件起因于Reddit上一名用户分享了一篇刚刚被ICML 2026收录的论文,帖子迅速引爆讨论,评论数急剧攀升。然而,所有读者的反应出奇一致:这也行?

该论文并未提出全新优化算法,也未训练新的大模型。作者仅完成了一件事:修改提示词(Prompt)

这个名为Verbalized Sampling(VS)的方法,其核心思路是通过调整提示词,显著提升大模型输出的多样性,以缓解长期困扰LLM的Mode Collapse(模式坍缩)问题。

听起来颇具实用价值,但仅凭一个Prompt技巧就能登上顶级学术会议?这合理吗?

不必急于下结论,让我们先审视论文的具体内容。

一篇引发广泛争议的ICML 2026论文

你是否也有这样的感受:AI生成的内容越来越同质化?当你连续询问十次“给我讲一个笑话”,得到的答案高度相似。这种现象不仅限于创作任务,在回答问题、代码生成等场景中同样普遍存在。

这一现象,在学术界被统称为模式坍缩。简而言之,就是模型越来越倾向于输出概率最高、最安全的经典答案,而那些另类、有创意的思路则被无情地拒绝采纳。

过去,解决该问题的主要思路是调整采样参数、修改解码算法,甚至重新训练模型。但这篇论文另辟蹊径,直接让模型将自身的采样过程一并输出

以讲笑话为例。作者修改了提示词,要求模型:

生成5个笑话,同时为每个笑话分配一个可能的概率值。

结果如何?模型产出的内容更加丰富,重复率也显著降低。方法如此简单,甚至无需微调,仅通过改变提问方式,就能大幅提升内容多样性。

当然,论文中对这套方法有着严密的论证。

首先,研究者需要厘清造成模型千篇一律的根本原因。此前,学界普遍将问题归咎于算法层面,如奖励模型不够完善、KL惩罚项设置不合理等。这篇论文经过深入调查后发现,真正的病根可能出在偏好数据上。

他们提出了一个核心概念——典型性偏差。从认知心理学角度看,人类标注者天生偏爱熟悉、流畅、常规的文本,因此在打分时,自然会倾向于那些刻板、大众化的回答。

这意味着,即便奖励模型与优化算法尽善尽美,只要训练所用的人类偏好数据自带典型性偏差,对齐后的模型依然会出现模式坍缩。作者在五个偏好数据集和不同的基座模型上反复测试,结论始终保持一致

明确这一点后,作者的思路便豁然开朗。既然问题根源在于训练数据,那么在推理阶段设计一个提示词方案来进行修正——具体来说,就是在Prompt中要求模型输出完整概率分布——便能唤醒预训练阶段中模型原本具备的多元输出分布,从而找回多样性。

随后,作者将这套方法在各类场景中进行了实验验证。结果令人瞩目:在创意写作任务中,多样性提升效果是普通提示的1.6至2.1倍,且不影响内容的事实准确性与模型安全水平。更值得注意的是,模型能力越强、参数量越大,VS带来的多样性提升效果就越显著。

因此,尽管方法本身看似简单,但ICML最终还是通过了评审。

Reddit网友激烈争论

不过,在原帖下方,对这篇论文的评价可谓两极分化

不少网友指出,以往的ICML论文通常聚焦于新模型、新算法、新理论等硬核创新,而仅涉及Prompt优化或推理流程的改进,似乎还称不上正经的机器学习研究。相比之下,这篇工作的创新性略显单薄,并且存在几个问题:

  • 类似通过指令调整的方法并非独创,甚至有网友表示自己昨天就在使用类似的Prompt写法
  • 理论验证较为困难,因为Prompt换模型后可能失效,不像算法那样稳定
  • 实验规模有限,不足以证明这是一个普适规律

有人甚至将机器学习领域的现状类比为心理学界十几年前的学术危机。当时大量研究者统计学基础薄弱、滥用统计工具,导致许多论文结论无法复现,行业面临严重的信任危机。而机器学习行业如今也高度依赖实证实验,轻视严谨的理论支撑

行业内卷严重,追逐新方法,但普遍存在过度调参、刷Benchmark分数的风气。许多所谓的创新算法,与成熟基线模型相比,几乎没有实际落地价值,仅凭微小的指标提升便被包装成创新成果。本质上,这都是学科高速扩张后,从业规范不清晰所导致的论文出版问题。

但支持者的观点同样明确:科学研究并非比谁的方法更复杂。只要假设清晰、实验充分、结果稳定且可复现,就不失为优秀的研究。这篇论文充分解释了模式坍塌现象,并指出真正的问题在于典型性偏好——这一观点本身,远比Prompt方法更为重要。

其中一位作者本人也在评论区回应,表示这篇论文看似简单,实则包含了大量复杂的处理过程。整套工作包含了完整的问题溯源、新理论归因、数学推导以及多维度定量实验,绝非浅层调Prompt的灌水之作。

很多人也提到了思维链CoT。当初CoT最早出现时,本质上也是一句简单的Prompt:

Let’s think step by step.

然而如今,几乎所有的推理方法都能追溯到CoT。这恰恰说明,提示词工程早已不再是简单的写提示词,它正在成为研究模型行为的新范式。

过去十几年,机器学习研究几乎都围绕训练展开。但如今,一些推理阶段的使用技巧也逐渐走向机器学习研究的核心位置。或许未来几年,我们将看到越来越多这样的论文——它们没有新增一行训练代码,没有增加一个模型参数,却能显著改变大模型的能力边界。

研究团队介绍

最后,我们来了解一下研究团队。该工作由美国东北大学Weiyan Shi团队联合斯坦福Manning实验室、西弗吉尼亚大学合作完成,Jiayi Zhang、Simon Yu、Derek Chong为并列第一作者。

Jiayi Zhang,本科毕业于密西根大学,同时获得计算机科学、数学与语言学三学士学位,随后赴美国东北大学攻读计算机科学硕士。她的另一篇被NLP顶会NAACL 2024接收的论文《Analyzing the Role of Semantic Representations in the Era of Large Language Models》,同样围绕语义表示和大模型展开。

Simon Yu,目前在美国东北大学攻读博士学位,主要研究方向为大模型中的对齐与强化学习机制。本硕均就读于爱丁堡大学,曾发表多篇顶会论文。除了本篇论文,他的另一篇论文《Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents》也被ICML 2026接收。

Derek Chong,硕士毕业于斯坦福大学,目前是斯坦福大学人工智能实验室研究员,研究方向主要集中在NLP与大模型。曾拥有三年创始人创业经历,并入职Ello担任应用科学家,参与产业端AI落地研发工作。在理论研究功底扎实的同时,也拥有丰富的一线实操经验。

来源:https://36kr.com/p/3896547651110534

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。