域分类实验 V2.0 — 实验记录

日期：2026年7月3日
实验者：infinite
数据文件：experiments/v3_routing_v2/results_20260703_170052.json
分析报告：experiments/v3_routing_v2/report_20260703_170331.md

先提炼几项核心结论。本次实验旨在验证一个关键假设：为模型提供明确的学科分析框架，能否显著提升其输出内容的“物质还原性”——即让回答更具体、可验证、基于数字与事实而非空泛的理论。结果呈现部分意外发现，部分则符合预期。

一、实验条件

1.1 模型与API

首先梳理实验配置，这是所有结果的基础。使用DeepSeek V4 Pro模型，通过Anthropic兼容接口启用stream模式。max_tokens设为4096，相较V1的1024大幅放宽了截断限制。调用间隔2秒，超时180秒，最多重试2次，并采用指数退避策略。

1.2 实验设计

实验逻辑简明：8道跨域问题搭配6种不同的系统提示条件，每条件执行5轮，总计240次API调用。

8道问题（Q1-Q8）

问题覆盖范围广泛，从城市规划到自动驾驶，从县域农产品到碳交易，均为现实世界中典型的跨学科议题。

6种条件（C1-C6）——完整定义

此处进行了细致设计。每种提示条件不仅在内容上存在差异，还控制了长度并对比了结构效果。

C1：正确域路由
分析以下问题时，请运用以下学科分析框架进行推衍：[正确学科框架，如：城乡规划学(0833): 空间布局约束、用地性质、设施分布标准、路网密度社会学(0303): 社区动力学、利益相关方行为模式...区域经济学(0202): 公共资源空间配置效率、成本收益结构...]推理要求：1. 每个核心断言必须给出可观测的物质对应物（数字、百分比、价格、法律条文编号、可测量物理量）2. 不可使用缺乏物质定义的抽象概念作为推理前提3. 分析必须覆盖问题涉及的多个维度
System prompt 均值：300 chars

C2：无框架（等长控制）
请仔细分析以下问题并给出全面深入的回答。分析时应：关注具体事实和可量化数据、识别关键因果关系和约束条件、考虑社会、经济、制度和技术等多个维度。避免空洞的概括性表述和缺乏定义的抽象概念。在适当情况下引用数字、案例和具体指标。确保分析的逻辑链条清晰可追踪，每个判断有明确的依据。
System prompt：137 chars。需要特别指出的是，C2 并不是真正意义上的“裸问”，它是一段温和的结构化引导，已经在教模型“如何分析”。

C3：错误域路由
分析以下问题时，请运用以下学科分析框架进行推衍：[错误学科框架，如：计算机算法(0812): 图论最短路径、NP-hard支配集问题...计算数学(0701): 运筹学k-center问题、设施选址数学模型...]推理要求：（同C1）
System prompt 均值：204 chars

C4：伪路由（等长控制）
你是一位经验丰富的跨领域分析专家，拥有多学科的知识背景和深入的行业洞察。请以专家的严谨性和全面性来分析以下问题。你的分析应该覆盖问题的多个层面，包括经济、社会、技术和制度维度。请提供有深度的洞察，引用具体的案例和数据来支撑你的判断。避免泛泛而谈，每个论点都需要有可验证的支撑。
System prompt：138 chars。这本质上只是角色装扮，没有学科框架，也没有推理要求。

C5：通用结构化框架
分析以下问题时，请运用以下结构化分析框架进行推衍：多维分析框架：- 维度一(利益相关方)：识别关键参与方、激励结构、权力分布、信息不对称- 维度二(资源约束)：分析资金、人力、技术、时间等约束及优先级权衡- 维度三(制度环境)：评估现行规则、标准、审批流程的作用和缺口- 维度四(动态演化)：考察短期和长期的力量变化趋势与反馈回路推理要求：1. 每个核心断言必须给出可观测的物质对应物2. 不可使用缺乏物质定义的抽象概念作为推理前提3. 四个维度均需覆盖
System prompt：263 chars。这个条件暗藏玄机——它自称“通用”，但四维结构实际上是公共政策分析/制度经济学的规范方法。后文会详细展开。

C6：正确域 + 通用框架
分析以下问题时，请运用以下学科分析框架和通用分析框架进行推衍：【学科框架】[正确学科框架，同C1]【通用框架】维度一(利益相关方)：...维度二(资源约束)：...维度三(制度环境)：...维度四(动态演化)：...推理要求：（同C1/C5）
System prompt 均值：426 chars。值得留意的是，它的 prompt 长度比 C1 长了约 42%，在比较时需要标注这个混淆因素。

1.3 等长控制

V1 实验的一大教训是，C2 和 C4 的 prompt 显著短于 C1 和 C3，导致无法排除“prompt 长度影响回答质量”这个混淆因素。V2 对此做了修正，但控制并不完美。

C6 的 prompt 长度（426 chars）显著高于 C1（300 chars），之后提到它时都得挂上这个脚注。

二、实验方法

2.1 测量指标

实验的评估方法非常务实：对每份回答逐句编码，依据“物质还原性”划分为三类——R（有物质对应物）、P（纯推理无对应物）、U（不可还原抽象）。核心指标是 R 比例，即 R 句子数在总句子中的占比，用于衡量回答的可验证程度。此外还计算了加权 R 比例，对 R 类句子进行置信度加权，对 P 和 U 类句子则予以惩罚。输出截断率（CAP%）同样被纳入统计。

2.2 分析方法

统计手段严格规范：Cohen's d 效应量、Bootstrap 95% 置信区间（1000 次重采样）、条件间 R 比例的配对比较、问题 × 条件的二维分解，以及 Prompt 长度与 R 比例的 Pearson 相关性。

2.3 实验执行

整个实验串行执行，每次调用完成后间隔 2 秒，实时记录 TTFB、总耗时、输入输出 token 数以及完整文本。失败时自动重试（最多 2 次），采用指数退避策略。

三、实验过程

3.1 时间线

实验全程耗时近 6 个半小时，从上午 10:30 开始，下午 17:00 结束。

3.2 运行质量

整体运行状态良好。240 次调用全部成功，零功能报错。测量过程中有两次 TTFB/TextLen 丢失（#128、#191），属于流式捕获的临时性故障，不影响数据分析。网络抖动方面，一次异常卡顿长达 706 秒（#172），其余均正常。TTFB 波动范围在 1.4 秒到 129 秒之间，根源在于 DeepSeek API 本身的不稳定性。

四、实验结论

4.1 核心发现：通用框架 ≈ 学科路由

最初发现颇为有趣：给定正确的学科框架（C1）与所谓的“通用框架”（C5）效果几乎一致，R 比例仅相差 1.1%。

不过，2026 年 7 月 6 日复盘时揭示了一个关键问题——C5 声称“通用”，实则并非真正的通用。这一点将在 4.8 节详细解析。

4.2 错误路由有害但非致命

C3（错误域路由）的 R 比例为 32.0%，显著低于 C1（44.6%）和 C5（44.8%），但比 C2（无框架，18.0%）和 C4（伪路由，16.4%）高出不少。这一结果说明：提供一个框架——即便是错的——也比完全不提供要好。当然，提供正确的框架才是最佳选择。

4.3 伪路由最差

C4（伪路由）R 比例仅为 16.4%，在所有条件中垫底。这充分表明：那种徒有其表的“跨领域专家”prompt，效果甚至不如不进行任何提示（C2 的 18.0%）。仅凭一个头衔，模型根本无法明确发力方向。

4.4 各条件R/P/U汇总

从句子总量及 R 比例来看，C1 与 C5 表现高度相似，而 C2 和 C4 则明显落后。

4.5 各问题最大效应

具体到每个问题，最佳条件与最差条件之间的差距非常显著，最大差距达 44.1%。这表明框架选择的效果确实存在，但最佳框架类型因问题而异。

4.6 数据质量

相比 V1 实验，输出截断率从 98% 降至 35.8%，但距离 20% 以下的理想目标仍有差距。Prompt 长度混淆基本得到控制，但尚不完美。

4.7 Prompt长度与R比例的相关性

Pearson r(prompt长度, R比例) = 0.587。这个相关性属于中等偏上，说明 prompt 长度确实会影响回答的物质还原性，进一步证明了等长控制的必要性。

C6 的 prompt 长度（426 chars）比 C1（300 chars）长约 42%，因此任何涉及 C6 的对比都要带上这个脚注。

4.8 C5 的实质：伪装的学科规范分类（2026-07-06 复盘）

此处是最值得玩味的地方。C5 自称“通用结构化框架”，但仔细拆解其四个维度，会发现每一个都对应着明确的学科门类。

因此，C5 的四维框架并非真正的“通用”——它实质上是公共政策分析与制度经济学的规范分析范式。如果你熟悉 Elinor Ostrom 的 Institutional Analysis and Development (IAD) 框架，会发现其核心要素（actors, resources, rules, dynamics）与 C5 的四个维度高度重合。

这意味着什么？

C5 绕过的只是学科名称标签，在实质层面它仍然进行了分类——它把一个特定学科的分析方法硬编码进了一个号称“通用”的框架。模型看到这四个维度，并非在“通用地思考”，而是在“用制度经济学的范式思考”。

对实验结论的修正

C1 ≈ C5 这个发现，不能简单地解读为“结构化框架本身起作用”。真正的原因在于：

• 大部分测试问题（Q1-Q8）本身就是公共政策问题。8 道题中，Q1（15分钟生活圈）、Q4（老旧小区电梯）、Q5（预制菜进校园）、Q6（碳交易）、Q8（宅基地流转）的核心正确学科都包含公共管理学或经济学。当 C1 给出正确学科框架（含公共管理学）而 C5 给出实质等同的“通用框架”（公共政策分析范式）时，它们实际上在用同一种分析方法回答同一类问题——效果当然相同。

• C5 不是 C1 的“通用替代品”，它是 C1 的“匿名版本”。把学科标签摘掉了，但分析方法没变。

真正的实验空白

我们仍然不知道：如果给一个真正通用的、不来自任何特定学科的分析框架，效果会怎样。比如：

• “请从正反两方面分析”——辩证框架，这更接近真正的“通用”
• “请列出3个关键因素并逐一分析”——无预设维度，纯结构无方法

C5 的实验价值在于：它证明了分析方法的选择比学科标签的标注更重要。一个正确的方法论框架——即使匿名——可以完全替代显式的学科路由。但值得注意的是，“正确的方法论”本身已经是学科知识了。

五、待解决问题与下一步建议

5.1 核心未解问题

V2 的 6 条件设计确实引入了一些混淆，导致最初想回答的实验问题被分散了。回顾一下原意图与实际的落差：

先说说 C2 的关键缺陷。“无框架”并不等于“裸问”。137 chars 的中性提示已经在教模型关注事实、避免抽象、覆盖多维度——这本身就是一段温和的结构化引导。R=18% 并不是无提示的基线，而是被温和引导后的基线。真正的裸问（system=None）R 比例可能会更低。

C4 的问题也很明显。它只给了角色卡（“你是跨领域专家”），没有给推理要求。而 C1 和 C3 都带三条推理要求（物质对应物、无抽象概念、多维度覆盖）。所以 C4 的 R=16.4% 是在“角色装扮 + 无推理要求”条件下测得的，不是单纯“伪路由”的效果。

不过，C5 的发现虽然是在设计有缺陷的情况下意外得到的，但仍然很有价值——它揭示了一个重要事实：四个维度（利益相关方/资源/制度/演化）就是公共政策分析的规范方法。这不削弱实验价值，反而把问题翻到了下一层。

5.2 下一轮实验设计（V3）

吸取教训之后，下一轮实验可以精简为四条件纯净设计：8 题 × 4 条件 × 5 轮 = 160 次调用。

设计原则很明确：C1/C3/C4 的区别仅在于“给什么框架内容”——正确学科 vs 错误学科 vs 仅角色身份。推理要求统一。C2 是纯基线，什么都不给。

5.3 其他改进

• 解决 CAP 残留问题：max_tokens 增至 8192，或者加输出长度限制指令。
• 等长控制：C4 的 prompt 长度要匹配 C1/C3（约 300 chars）。
• C5 的独立验证价值：如果想要测试“方法论匿名化的效果”，可以单独设计一个实验：C5 的四个维度随机洗牌/替换 vs 原始 C5 vs C1。

六、数据文件索引

所有实验相关文件都整理在附录中，方便复现和进一步分析。