在构建DeepResearch系统时,生成高质量、多样化的查询(query)是提升信息覆盖率和搜索结果质量的关键。本文将从传统提示词方法的局限性出发,系统介绍如何利用子模优化(Submodular Optimization)结合句向量,在有限查询数量下,科学地筛选出既紧扣原始问题又充分多样化的查询组合。本教程包含核心挑战、实验对比、数学建模、算法实现与效果验证,适合希望优化DeepResearch查询生成策略的开发者与研究者。
一、DeepResearch系统查询多样性面临的核心挑战
在开发DeepResearch时,生成多样化的查询是一个关键细节。我们在开发时会在至少两处遇到这个问题:
- 解析用户原始输入生成网页搜索查询:直接把原始输入抛给搜索引擎,效果往往不尽人意。
- 研究方案规划器分解子问题:许多系统会前置一个“研究方案规划器”,负责将原始问题分解为多个正交的子问题,然后调用Agent分而治之,最后整合处理结果。
无论是生成搜索查询还是拆解子任务,我们的生成目标是相同的:
生成的查询必须既能紧扣原始问题,又要足够多样化,从不同视角全面探索问题。 同时,为了控制成本,我们还必须控制查询的数量,避免向搜索引擎或大语言模型(LLM)发起不必要的请求。
二、传统提示词方法的不足与实验对比
虽然业界都认识到查询多样性的重要价值,但多数开源的DeepResearch项目在处理这一优化问题时,方法却略显粗放。它们往往选择了一条捷径:直接将多样性、相关性等要求写死在提示词(Prompt)里。有些方案会更进一步,追加一轮LLM调用,让模型自行评估和调整,以期提升多样性。这些方法构成了当前主流的实现思路,但其效果和稳定性仍有待商榷。
上图展示了两种主流的提示词策略,来引导LLM生成多样化查询。上方的提示词言简意赅,下方的则设计得更为精密、结构化。实验中,我们设定原始查询为“向量与重排器”(embeddings and rerankers),并采用 gemini-2.5-flash 模型,目标是测试在给定查询数量下,这两种提示词能否有效地产出足够多样化的结果。
实验设置与提示词示例
- 简单提示词:
你是一位生成多样化搜索查询的专家。对于任何输入主题,生成 {num_queries} 个不同的搜索查询,以探索该主题的各个角度和方面。
- 结构化提示词:
你是一位专业的研究策略师。请生成一个最优的多样化搜索查询集,以最大化信息覆盖范围,同时最小化冗余。
任务:根据任意给定的输入,创建恰好 {num_queries} 个满足以下条件的搜索查询:
- 相关性:每个查询必须与原始输入在语义上相关。
- 多样性:每个查询应探索一个独特的方面,且重叠最小。
- 覆盖率:所有查询合在一起应能全面地涵盖该主题。
流程:
1. 分解:将输入分解为核心概念和维度。
2. 视角映射:识别不同的角度(理论、实践、历史、比较等)。
3. 查询构建:为每个视角精心设计具体的、可搜索的查询。
4. 多样性检查:确保查询之间的语义重叠最小。
实验流程如下:我们选用 gemini-2.5-flash 模型,以 embeddings and rerankers 为原始查询,分别运用上述两种提示,迭代生成1至20个查询。生成查询后,我们随即调用 jina-embeddings-v3 的 text-matching,从两个维度进行评估:一是衡量生成查询与原始查询的相关性,二是衡量生成查询集内部彼此的多样性。评估指标均为句向量的余弦相似度。
从结果图(右侧两图)来看,两种提示词在“查询集内部相似度”这一指标上,表现出惊人的一致性。 无论生成多少查询,其内部相似度的中位数始终徘徊在0.4到0.6的高位。有意思的是,当查询数量增多时,简单提示词产出的结果反而更多样化一些;而结构化提示的优势则在于,它能更稳定地维系结果与原始查询的相关度,使其保持在0.6左右。
然而,两张右侧图表也暴露了更深层的问题。首先,两种方法生成的查询相似度得分方差巨大,甚至大量落在0.7至0.8的区间,这说明模型产出了许多语义几乎完全重复的查询。此外,随着查询数量的增加,两种方法都显现出维持多样性的乏力。我们期待看到的“查询越多、内部相似度越低”的理想趋势并未出现,取而代之的是一条居高不下的稳定的水平线。这意味着,模型新增的查询,很可能只是对已有视角的不断复述。
为什么会这样? Wang等人(2025)的研究或许能给我们一些启示。他们发现,即使有提示词加以引导,大语言模型依然会不成比例地放大主流群体的观点,表现出对普遍视角的固有偏好。
https://arxiv.org/abs/2505.15229
这背后的根源,在于其训练数据对某些观点的过度呈现,使得模型在生成内容时,自然而然地向这些主流视角靠拢。无独有偶,Abe等人(2025)的研究也印证了这一点,指出基于LLM的查询扩展会优先采纳流行的解释,而忽视那些小众但同样有价值的角度。
https://arxiv.org/abs/2505.12349
一个典型的例子是,当你询问“人工智能的好处”,模型很可能滔滔不绝地列举自动化、高效率、合乎伦理等众所周知的优点,却极易遗漏像“加速新药研发”这类不那么大众化,却意义重大的应用场景。
