大模型在开放领域的“博学”已经让很多人印象深刻，但在敏感领域的“可靠”，才是企业级应用真正的分水岭。一个AI在闲聊时信口开河，用户顶多当个笑话；可要是在医疗、法律、金融这些领域里胡说八道，后果就可能直接让人“踩坑”了——这正是大模型幻觉评测需要重点关注的方向。
本次评测的目标，就是摸清几款主流大模型在医疗、法律、金融等敏感场景下的真实可靠性。我们设计了一套涵盖这三个领域的事实准确性评测方案，并在Gemini 3.5、Claude 3.5 Sonnet和GPT-4o上完成了系统性对比，帮助企业在选型时避开高风险幻觉。
一、评测框架：如何量化敏感领域的“幻觉”
敏感领域的大模型幻觉评测，不能套用通用的准确率指标。一个模型可能在80%的常见问题上回答正确，但在20%的罕见问题上产生严重幻觉——而那20%恰恰是风险最高的场景，也是AI幻觉评测需要深挖的痛点。
评测框架一共分三层。第一层是基础事实准确性，测试模型在标准知识库覆盖范围内的问题能否正确回答。第二层是边界模糊场景的诚实度，测试模型在信息不足或超出知识范围时，是诚实地标注不确定性，还是强行给出看似合理的错误答案。第三层是专业推理的准确性，测试模型在处理需要多步推理的专业问题时，中间步骤和最终结论是否都正确。这套三层结构能有效评估敏感领域AI的可靠性。
测试集覆盖医疗（疾病诊断、药物相互作用、检查报告解读）、法律（合同条款、劳动纠纷、知识产权）、金融（投资建议、风险评估、财务报表分析）三个领域，每个领域100条测试用例，总计300条。这种精细化评测数据有助于企业判断模型在自身业务场景中的真实表现。
二、医疗领域：诊断推理与药物知识
医疗领域的测试集包含三类场景：常见病诊断（基于症状描述给出可能的诊断和就医建议）、药物相互作用（判断两种或多种药物同时使用是否存在风险）、检查报告解读（基于化验单数据给出分析）。这些场景直接关系到患者安全，对模型的事实准确性要求极高。
| 指标 | Gemini 3.5 | GPT-4o | Claude 3.5 Sonnet |
|---|---|---|---|
| 基础事实准确率 | 91.2% | 88.5% | 93.7% |
| 边界模糊场景诚实度 | 85.3% | 72.1% | 92.8% |
| 专业推理准确率 | 83.5% | 79.2% | 87.6% |
| 过度诊断率（将轻症误判为重症） | 7.2% | 12.8% | 4.5% |
Gemini 3.5在基础事实准确率上介于GPT-4o和Claude 3.5 Sonnet之间，但在边界模糊场景的诚实度上明显优于GPT-4o。它更倾向于在信息不足时标注不确定性，而不是强行给出一个看似确定的诊断。Claude 3.5 Sonnet在医疗领域表现最好，过度诊断率最低，说明其在保守性和准确性之间取得了较好的平衡。GPT-4o的过度诊断率偏高，可能与其倾向于“给出更多信息”有关——在不确定时，GPT-4o更倾向于列出多种可能性，但其中包含一些低概率的重症，容易引发不必要的恐慌。这一结果揭示了医疗AI选型中幻觉率评测的重要性。
典型幻觉案例：在分析一份肝功能化验单时，GPT-4o将“ALT轻度升高”解读为“可能存在肝脏损伤，建议进一步检查”，而实际上ALT轻度升高可能由运动、饮酒等多种因素引起。Claude 3.5 Sonnet和Gemini 3.5都正确地指出了这一点，并给出了更谨慎的解读。
三、法律领域：条款引用与风险评估
法律领域的测试集包含三类场景：合同条款解读（分析条款的法律含义和潜在风险）、劳动纠纷判断（基于劳动法判断雇主或雇员的行为是否合规）、知识产权咨询（判断特定行为是否构成侵权）。法律场景对条款引用的准确性要求极高，任何幻觉都可能带来实际法律风险。
| 指标 | Gemini 3.5 | GPT-4o | Claude 3.5 Sonnet |
|---|---|---|---|
| 基础事实准确率 | 89.5% | 87.2% | 92.1% |
| 边界模糊场景诚实度 | 82.8% | 68.4% | 90.3% |
| 条款引用准确率 | 86.7% | 83.5% | 91.2% |
| 跨司法管辖区混淆率 | 8.3% | 14.5% | 5.8% |
Gemini 3.5在法律领域最突出的问题是跨司法管辖区混淆——有时会将A国的法律条款错误应用到B国的类似场景中。虽然错误率不高，但在正式法律咨询中是不可接受的。GPT-4o在这方面的混淆率更高，而Claude 3.5 Sonnet表现最稳健。Claude 3.5 Sonnet在边界模糊场景的诚实度上显著领先，当被问到“这个条款在XX情况下是否有效”时，它更倾向于回答“需要结合具体判例，建议咨询专业律师”，而不是给出一个看似确定但可能不准确的答案。这一表现对于法律领域的AI幻觉评测至关重要。
典型幻觉案例：在分析一份跨境合同的管辖权条款时，GPT-4o引用了某个已失效的司法解释，而Gemini 3.5和Claude 3.5 Sonnet都没有犯这个错误。但Gemini 3.5在后续追问中，将被测试的公司名称与另一个真实存在的同名但不同行业的公司混淆，导致分析上下文出错。
四、金融领域：数据分析与市场预测
金融领域的测试集包含三类场景：财务报表分析（基于财报数据给出经营状况判断）、投资风险评估（分析特定投资组合的风险收益特征）、市场趋势判断（基于历史数据给出趋势分析）。金融数据的准确性和预测的保守性直接关系到投资决策和风险控制。
| 指标 | Gemini 3.5 | GPT-4o | Claude 3.5 Sonnet |
|---|---|---|---|
| 基础事实准确率 | 90.8% | 89.3% | 92.5% |
| 边界模糊场景诚实度 | 88.2% | 75.6% | 91.4% |
| 数值计算准确率 | 87.3% | 85.8% | 89.1% |
| 过度预测率（给出确定性预测） | 11.5% | 18.3% | 6.2% |
Gemini 3.5在金融领域的表现与GPT-4o接近，但过度预测率明显低于GPT-4o。GPT-4o在趋势判断中更容易给出“确定性的预测”——比如“该股票未来三个月内大概率上涨”——这种预测在金融领域是高风险行为。Gemini 3.5更倾向于给出概率区间的表述，比如“历史数据显示，该股票在类似条件下上涨概率约60%”。Claude 3.5 Sonnet在金融领域同样最保守，过度预测率最低。这些数据为金融AI的幻觉评测提供了有力参考。
典型幻觉案例：在分析一份财报时，GPT-4o将“非经常性损益”错误地计入了常规营收增长，导致对公司的经营状况做出了过于乐观的判断。Gemini 3.5和Claude 3.5 Sonnet都正确地区分了两者。
五、综合评估与选型建议
| 评估维度 | Gemini 3.5 | GPT-4o | Claude 3.5 Sonnet |
|---|---|---|---|
| 基础事实准确率（三领域平均） | 90.5% | 88.3% | 92.8% |
| 边界模糊场景诚实度 | 85.4% | 72.0% | 91.5% |
| 幻觉严重性（高风险错误占比） | 3.2% | 6.5% | 2.1% |
| 拒答率 | 12.5% | 5.3% | 18.7% |
选型建议：如果你的场景对事实准确性有极高要求且不容忍任何幻觉（如合同审查、医疗诊断辅助），Claude 3.5 Sonnet仍然是更安全的选择。它的边界模糊场景诚实度和低幻觉严重性都是三者中最优的。如果你的场景需要平衡准确率和可用性，不希望模型过度拒答（如金融数据分析、法律初步咨询），Gemini 3.5是一个值得考虑的选择。它在事实准确性上优于GPT-4o，拒答率适中，不会因为过于保守而影响用户体验。如果你的场景对幻觉容忍度较高，更看重模型的响应速度和知识广度（如创意文案、初步信息收集），GPT-4o仍然是一个不错的选择，但需要在敏感问题上加人工审核兜底。总之，结合敏感领域幻觉评测结果进行模型选型，可以大幅降低企业级应用的风险。
最后
敏感领域的幻觉评测，最有价值的不是“谁得分最高”，而是“谁在什么情况下以什么方式出错”。知道模型会在哪个领域、哪种场景下产生幻觉，比知道它的平均准确率更能指导工程实践。可以先在自己关注的场景里跑一轮多模型对比，摸清各模型在自身敏感场景下的真实表现和出错模式，再根据风险等级做模型选型和兜底策略设计。在敏感领域，一次严重的幻觉可能比一百次正确的回答更有破坏力。模型选型不是选最强的，而是选最不容易在最关键的时候出错的——这正是大模型幻觉评测的终极意义。