在开发与测试过程中，GPT-4o 多模态融合能力被频繁问及。以下将核心结论整理为问答形式，便于直接作为排查清单参考。
Q1：GPT-4o 多模态融合的优势究竟体现在哪里？
核心在于跨模态上下文对齐能力与复述一致性。尤其在“口述需求→拍照核对→文件落地”这类字段映射任务中，表现尤为亮眼。
| 流程 | 成功次数 | 字段准确率 | 证据一致性 |
|---|---|---|---|
| 仅语音 | 8/10 | 86% | — |
| 语音+视觉 | 9/10 | 89% | 84% |
| 语音+视觉+文件 | 10/10 | 93% | 92% |
Q2：同样是多模态，为何证据一致性反而变差？
根本原因在于：若不强制要求每条输出必须指向具体来源，模型容易在视觉或文件证据之间生成看似正确但难以核对的回答。根据母版实测，证据一致性从92%降至约88%。
工程建议：每条输出必须包含 source_type + locator + quote 这样的结构化引用格式。
Q3：自由对话式为什么不如状态机式稳定？
自由对话式缺少流程约束，模型在某些轮次中容易跳过证据链。以下是两种方式的对比表现：
| 方式 | 成功次数 | 证据一致性 |
|---|---|---|
| 状态机式 | 10/10 | 91–93% |
| 自由对话式 | 8/10 | 82–86% |
结论明确：将流程拆解为 S0/S1/S2/S3 等阶段，稳定性会大幅提升。
Q4：文件抽取是否需要“分两段”？什么时候两段式最值得？
若最终需要输出严格的结构化内容——特别是 JSON、表格或清单——那么两段式非常值得采用。母版对照数据如下：
| 策略 | 成功次数 | JSON 合规率 |
|---|---|---|
| 一步到位 | 7/10 | 75% |
| 两段式 | 10/10 | 92% |
两段式的做法：先确认异常点并附上规则条目编号，再生成最终结构。
Q5：视觉截图不清晰会带来什么影响？能否补救？
不清晰的截图会触发“自信错误”模式——模型可能将伪代码当作真实逻辑、混淆相似的变量名、或因遮挡遗漏风险点。实测数据如下：
| 视觉条件 | 成功次数 | 字段准确率 |
|---|---|---|
| 清晰截图 | 10/10 | 94% |
| 低清晰度 | 8/10 | 86% |
| 局部遮挡 | 6/10 | 78% |
| 反光/过曝 | 7/10 | 80% |
补救方式并非盲目重试，而是在提示中加入可见性要求：对不可读部分使用 [UNSURE] 占位，并要求补图。这样一来，遮挡场景下的成功次数从 6/10 提升至 8/10。
Q6：如何避免长文档编号“漂移”导致引用错位？
关键在于将“编号定位”和“最终生成”拆开。母版采用两段式策略：第一段只处理编号与定位，第二段做最终结构输出；同时强制使用 evidence 引用格式。
Q7：哪些任务适合做这类多模态工程化？哪些不适合？
适合的：需求规格梳理、合规检查清单、字段映射、代码或文档审阅中的风险点整理——只要能接受工程化约束（证据定位→结构生成），效果都非常理想。
不适合的：只希望得到一句话总结、不关心证据是否可核对；或者必须实现“100%审计级引用”却缺少检索或定位工具的场景。此类情况下，多模态工程的投入产出比会显著偏低。