10月24日,据外媒Android Authority报道,欧洲广播联盟(EBU)与BBC近日联合评估了ChatGPT、Gemini及Perplexity等多款AI系统在新闻摘要方面的表现。开展这项研究的背景在于,目前约有15%的25岁以下年轻人主要通过AI获取新闻资讯。
BBC最初通过大规模问卷调查及六场焦点小组访谈,收集公众对AI新闻工具的使用体验与看法,随后EBU将此项研究扩展至国际范围。
研究显示,约42%的英国成年人表示信任AI内容的准确性,而年轻群体的信任度更高。不过,84%的受访者认为,一旦AI系统出现事实性错误,将严重削弱自己对AI的信任。问题的关键在于,这些系统的“不准确度”究竟源于哪些因素,以及用户是否真正察觉到了这些错误。
结果显示,大多数AI生成的内容都存在各种问题。各模型整体表现差距不大,但Gemini成为明显的“异类”——不仅错误数量最多,严重错误的比例也远高于其他系统。
研究进一步指出,Gemini存在的问题主要包括:缺乏清晰的资料来源链接、未能区分可靠信息与讽刺内容、过度依赖维基百科、缺乏足够语境支撑,以及错误引用原文等。
在为期六个月的研究周期中,各大AI系统的表现均有改进,新闻摘要的准确率普遍提升,其中Gemini的进步尤为显著。但即便如此,Gemini的整体表现仍明显落后于其他系统。
