最近一期《自然-人类行为》期刊发表了一项关于AI的有趣研究,重点测试了大语言模型在“理解他人心理状态”方面的能力。结果显示,在某些特定任务中,像GPT和LLaMA2这类模型的表现不仅与人类相当,甚至在某些环节还略胜一筹。

图源 Pixabay
所谓“心理状态能力”,在学术上通常被称为“心智理论”,简单来说,就是人们推测他人想法、意图以及是否存在误解的能力——这是人类社交互动与共情能力的核心组成部分。论文第一作者James W. A. Strachan(来自德国汉堡-埃彭多夫大学医学中心)带领团队设计了多类测试,覆盖心智理论的不同维度:例如,识别他人犯错后仍坚持己见、理解言外之意,以及察觉某人言行是否失当。
他们选取了GPT和LLaMA2两类大语言模型来执行这些任务,同时招募了1907名人类参与者作为对照。
结果颇具启发性:GPT在识别间接请求、错误信念和误导性信息方面,表现达到了人类平均水平,部分环节甚至更优;而LLaMA2在这些任务上则明显逊色于人类。然而,在识别“失礼”行为时,LLaMA2的表现反而强于人类,GPT却在此项上表现不佳。
据中新社报道,研究人员分析指出,LLaMA2在失礼测试中胜出,并非因为它对“失礼”本身更敏感,而是由于其回答时的“偏见程度”较低——即更中立,偶然间蒙对了答案。而GPT表现较差,则源于它对已有结论存在一种“超保守”的固执倾向,不愿轻易推翻自己的判断,这并非其理解能力本身存在缺陷。
