一直以来,大型语言模型都被广泛认为是革命性的工具,被寄予厚望,认为它们能让全球范围内获取信息变得更加普惠。然而,美国麻省理工学院建设性传播中心的一项最新研究却表明,这些人工智能系统在本应从中受益最多的弱势群体身上,其表现却系统性欠佳。

这项研究结果在人工智能促进协会(AAAI)年会上发布,研究对象涵盖了OpenAI的GPT-4、Anthropic的Claude 3 Opus以及Meta的Llama 3等当前最先进的聊天机器人。研究人员使用TruthfulQA和SciQ数据集来测试模型的事实准确性与真实性,并在提问前附加了不同教育水平、英语熟练程度和国籍的用户背景信息。结果显示,对于受教育程度较低或英语不够熟练的用户,模型回答的准确率显著下降;而同时符合这两类特征的用户,受到的负面影响则更为严重。
该研究还揭示了模型在处理查询时令人担忧的差异化表现。例如,Claude 3 Opus对教育程度较低、非英语母语用户的问题拒绝回答率接近11%,而对照组用户仅为3.6%。在许多拒绝回复的情况下,模型使用了居高临下、傲慢甚至嘲讽的语气,有时还刻意模仿蹩脚英语。此外,对于来自伊朗、俄罗斯等国、受教育程度较低的用户,模型会有意隐瞒核能、历史事件等话题的真实信息,而对其他用户群体却能正确回答完全相同的问题。
研究人员警告称,随着个性化功能日益普及,这些固有的社会认知偏见可能会加剧现有的信息不平等问题,它们会悄然将有害行为与错误信息传递给最缺乏辨别能力的人群。
