AI历史题准确率仅46%？GPT-4 Turbo 为何在高级难题上掉链子？

本教程将带你深入了解一项最新研究：AI（人工智能）在高级历史考试中的表现。尽管AI在编程等任务中游刃有余，但面对复杂的历史问题时，即便是顶尖模型也频频“翻车”。我们将拆解研究结果，分析根本原因，并探讨AI在历史研究中的潜力与局限。

一、研究背景：AI在历史考试中的“不及格”成绩

奥地利复杂科学研究所（CSH）的团队主导了一项测试，考察三大顶级大型语言模型（LLMs）——OpenAI的GPT-4、Meta的Llama和谷歌的Gemini——在历史问题上的表现。研究结果在知名AI会议NeurIPS上公布，令人惊讶：

• 即便是表现最佳的GPT-4 Turbo模型，准确率也只有46%，几乎和随机猜测差不多。
• 这些模型在处理基本事实时能力尚可，但遇到博士级别的复杂历史研究题目时，完全无法胜任。

二、主要发现：AI在哪些历史题上会“翻车”？

研究发现，AI的“短板”主要集中在对冷门历史知识和技术性细节的把握上。以下是两个典型例子：

• 古埃及的鳞甲问题：询问“古埃及某一特定时期是否存在鳞甲”，模型给出的答案往往是错误的。因为它们缺乏对那个时期具体历史背景的了解，只会从极其突出的历史数据中推断。
• 古埃及的职业常备军问题：询问“古埃及是否拥有职业常备军”，正确答案是否定的，但OpenAI和Llama模型都给出了错误答案。原因可能是模型训练数据中充斥着其他古代帝国（如罗马）拥有常备军的信息，却忽略了古埃及的特殊情况。

核心症结：大型语言模型倾向于从高频、突出的数据中学习，而难以检索到小众、冷门的历史知识。训练数据的不完全或不准确，加上模型设计未考虑特定历史背景，导致了这些错误。