你是否曾好奇，为什么有些问题会令AI大模型或Agent陷入困境，而另一些却能轻松解决？影响因素众多，但今天我们将聚焦其中一个关键维度：问题求解时所需探索空间的大小。这就像是在问——一个迷宫，究竟需要你亲自走完多少条路径，才能找到出口？
需要明确的是：本文不会提供一种放之四海而皆准的量化公式，因为现实中并不存在这样的万能公式。但你可以沿着本文的思路，在自己的具体领域中构建出一把“尺子”，用以衡量某个问题的破解难度。
1、问题求解所需的探索空间
这个概念有些抽象，我们先来看一个具体例子。
想象一下，要在山地、峡谷交错的地段修建一条铁路。最理想的方案自然是直线——遇山开洞，遇谷架桥。然而，工程技术并非万能，并非所有地段都适合挖隧道，也不是所有山谷都能架桥。更何况预算有限，虽然不要求绝对最优，但至少要在预算范围内选择一个相对合理的方案。当然，对于专业人士而言，这个例子还有诸多细节可深究，此处我们暂且站在外行视角来理解。
那么，什么样的方案才算“可接受”？抽象来看，无非三个标准：第一，方案整体必须连通、可通行，不能出现断头路或火车无法通过的区域；第二，每个局部在技术上具备施工可行性，结构稳定可靠；第三，需要将成本较低的备选方案逐一比较，从中选出综合成本最优的。
如果将这个问题映射到程序生成任务，类似的要求就转化为：每个局部功能必须能够实现且正常运行；局部之间的输入输出需无缝对接；整体程序能够完成既定目标；同时代码复杂度和执行成本应尽可能低。
当前Agent解决这类新任务的主流方法主要有两种。一种是逐步分解：将复杂任务拆解为简单子任务，逐一攻克。2023年的XAgent便采用了这一思路，通过两层规划进行拆分，但在子任务衔接上常常表现不佳。另一种是类似AutoGPT的暴力探索：从起点不断试探，直到碰巧找出一条成功路径。
归根结底，解决问题就是在方案空间中不断探索或分解，直到找到一个同时满足“整体可行、局部可做、各部分可衔接”的方案。如果成本也能较低，那就更加理想了。
因此，一个问题的“最小探索空间”——或者说，在常规思路下必须摸清的最小范围——便成为衡量其求解难度的天然标尺。
2、LLM/Agent的局限性
无论是人类还是LLM/Agent，所能掌控的探索空间规模都是有限的。目前来看，人类在专注工作并借助外部笔记辅助时，能够处理的空间明显更大。
相比之下，LLM/Agent能够管理的范围要小得多。原因包括以下几点：
- LLM的长上下文能力仍显不足，难以承载过长的上下文信息。
- LLM不擅长长链条推理与回溯——路径不通时重新折返换路，这一过程它处理得相当别扭。
- LLM无法像人类那样几乎无损耗地从记忆中删除无效尝试路径，从而压缩工作空间。
- 在同时处理多条线索并频繁切换的场景下，LLM的表现更为逊色。
当然，后三点（2-4）理论上可以通过上层代码进行弥补，但目前应用层尚未推出既有效又通用的方案，业界仍在等待模型层自身的进步。
更为棘手的是，LLM/Agent不仅探索能力弱，而且自身意识不到这一弱点。面对新问题，它很少先搭建一个最简单的MVP，待核心功能跑通后再填充非必要细节。这一点在使用AI编程工具从头构建项目时尤为明显：LLM一上来就试图将每个模块都写得“完整”，随后很快触及自身探索空间的极限——尚未找到成功路径，就先被自己堆砌的冗余复杂度压垮了。打个比方，LLM就像一个体力不支、爬山能力很弱的人，却偏偏喜欢模仿他人去攀登那些根本无法驾驭的山峰。
正因为LLM/Agent对复杂度的处理能力本就不强，又对自己的短板浑然不觉，因此在AI编程实践中，我们不得不依靠有经验的人先为其制定探索计划，确保每一步的子任务都在它可掌控的复杂度范围内，且方向正确、无需回溯试错。这也正是当前LLM/Agent在独立处理全新复杂问题方面能力不足的真实写照。
3、优化方向与策略
优化方向自然是持续提升LLM的长上下文能力，具体包括：降低上下文处理成本；使其能够从更复杂、更长的上下文（例如记录了大量错误路径回溯后的混乱局面）中准确提取当前所需信息；以及设计更适合Agent场景的记忆方案与多分支探索策略。
此外，如何让LLM更清醒地认识自身当前能驾驭的探索空间大小？处理复杂问题时，能否主动降低非必要复杂度的引入，优先追求“完成任务”，再回头细化方案？这显然也是需要加强的方向。对于模型层而言，大概率需要借助强化学习（RL）来教会LLM评估自己的能力边界，不过所需的RL训练量恐怕不小。而应用层也可以采取一些权宜之计，例如通过提示词（prompt）让LLM不要过早搭建复杂的框架，先确保功能跑通再说。
相关论文
这里顺便检索了几篇与本文主题相关的研究论文，供读者参考。
A Survey on Large Language Models for Automated Planning
https://arxiv.org/abs/2502.12435
Self-Guiding Exploration for Combinatorial Problems
https://arxiv.org/abs/2405.17950
Enhancing LLM Reasoning with Reward-guided Tree Search
https://arxiv.org/abs/2411.11694