先说一个常见但存在隐患的场景：当 Agent 被问到“上次为什么修改这个路径”时，最令人担忧的不是它回答得慢，而是它回答得过于逼真——引用相邻工单，把已被推翻的结论当作当前有效结论，或者把症状描述当成根因分析。仓库测试全部通过，但用户依然无法判断答案是否具备确凿的证据支撑。

先明确一点：本文不会发布任何虚构的“准确率”，也不会把 lint 通过当作“记忆有用”的证明。讨论对象是 miniLV/coding-agent-memory 的评估设计，以及 Issue #4 中提出的 10～20 个安全案例。核心目标只有一个：让答案能够清晰说明——基于哪条证据、属于哪一层支持，以及到底该不该回答。

1. 为什么常规流水线测试不够

字段检查、日期校验、链接验证和退出码检测，这些常规操作只能确认“能不能写出来”，但完全无法覆盖三个关键问题：当前结论与已被替代的结论并存时，是否会发生误复用；面对精确的 ticket、路径或根因问题，能否带回对应的证据；当记忆里确实没有相关内容时，能否果断返回 NO_MATCH，然后转入 fresh inspection。

README 里公开的 node --test scripts/*.test.mjs && node scripts/wiki-lint.mjs --strict 这条命令，确实能证明本地工作流是可重复的、来源约束是可检查的，但它并不能保证未来的问题都能答对。更现实的情况是，当前的检索机制是按流程执行的 Agent Skill，不是可以枚举出所有结果的确定性查询内核。如果旁边再放一个词法 evaluator，或者把预录好的答案直接塞进评估器，测试就容易变成“自证”：两边共享同样的假设，绿灯亮起只说明彼此配合默契，并不能说明系统真的可靠。

2. 先定义“支持层”

按照规范，需要明确区分两条轴：用户写下的决策，与 Agent 自行推断的总结；记忆可以回答的内容，与必须重新检查仓库的场景。每个案例至少需要声明以下几个关键字段：

• expected_mode：memory_answer 或 no_match（需要 fresh inspection）
• support_layer：user_authored_decision、agent_inferred_summary、fresh_inspection_required
• evidence：允许的来源链接、ticket、路径或段落定位
• must_not_reuse：相似但已过期、只描述症状、或不属于本流程的证据

所谓“误复用”，就是拿不该支持当前结论的证据来支持当前结论。而 NO_MATCH 并不是失败，它本身就是一种安全结果：记忆不足，那就应该查新的东西。

3. 第一层：确定性证据保留评估

现在就能做的事，是第一层评估。这一层不评判文风好坏，只检查产物是否留下了可复核的事实：日期、来源、工单、路径、当前/已替代关系、根因与症状的区分，以及 Daily 到来源的 provenance 链。案例规格可以非常简单，比如：

- id: stale-01
question: "这个决定现在还有效吗？"
expected_mode: memory_answer
support_layer: user_authored_decision
evidence: [source_link, ticket, supersession_marker]
must_not_reuse: [superseded_conclusion]

- id: unseen-01
question: "没有记录的模块为什么变慢？"
expected_mode: no_match
support_layer: fresh_inspection_required
evidence: []

测试只对照 evidence ID、时间和关系，验证“有证据才允许回答”，而不是生成一个漂亮的“标准答案”。10～20 个安全案例就可以覆盖 Issue #4 提出的范围：当前/已替代结论、精确 ticket/path、根因/症状、可复用指导、无匹配、引用完整性，以及多工作流的长样本。最终产出的是一个可审计的证据报告，而不是什么“记忆准确率”。

4. 第二层：Agent-in-the-loop 有用性评估

第一层稳定之后，再让真实的 Agent 进入回路——但注意，不给它预录答案。运行记录要保存好案例版本、evidence ID、回答内容、声明的 support_layer、是否返回 NO_MATCH、是否请求 fresh inspection，以及模型、配置和时间信息。

这一层的评估器不检查逐字相等，而是检查支持关系：引用是否在允许的集合内；旧的结论是否被标为 superseded；根因问题是否引用了根因证据；memory_answer 和 no_match 是否符合规格；需要查新的时候，Agent 是否真的停止了记忆推断。确定性来自固定的案例、证据集合与审计日志，有用性则来自真实 Agent 在真实场景中的选择。不要再加并行的词法 evaluator，也不要把期望答案硬编码进 Skill——否则又会回到自证的死循环。

总结

测试通过，只说明系统守住了已声明的约束；答案可信，还要求证明它引用了正确层级的证据，并且在无证据时能够拒绝猜测。先做证据保留评估，再做 Agent-in-the-loop 评估，这样才能把“格式正确”和“记忆可靠”彻底分开来对待。

回过头来看，最值得思考的一个问题是：到底是“旧结论误复用”更难复现，还是“该 NO_MATCH 却继续瞎猜”更难复现？这比训练一个能说会道的模型要难得多。