10月24日消息，生成式AI在信息整理方面确实大有可为，其生成的内容也时常令人惊叹。但只要稍加留意，我们就会发现这项技术仍存在不少缺陷。
据外媒Android Authority今日报道，欧洲广播联盟与BBC近日联合评估了ChatGPT、Gemini及Perplexity等多款AI系统在新闻摘要方面的表现。研究动机在于，目前约有15%的25岁以下年轻人主要通过AI获取新闻。
BBC最初通过大规模问卷调查及六场焦点小组访谈，收集公众对AI新闻工具的使用体验与看法，随后EBU将这项研究扩展至国际范围。
研究显示，约42%的英国成年人表示信任AI内容的准确性，年轻群体的信任度更为突出。不过，84%的受访者认为，一旦出现事实性错误，将会严重削弱自己对AI的信任。问题在于，这些系统的"不准确性"究竟从何而来，以及用户是否真正察觉到了这些错误。
结果显示，大多数AI生成的内容都存在不同程度的问题。各模型整体表现差距不大，但Gemini成为明显"异类"，不仅错误数量最多，严重错误的比例也远高于其他系统。
研究指出，Gemini的问题主要包括：缺乏清晰的资料来源链接、未能区分可靠信息与讽刺内容、过度依赖维基百科、缺乏足够语境支撑，以及错误引用原文。
在六个月的研究周期中，各大AI系统的表现都有明显改进，新闻摘要的准确率普遍提升，Gemini的进步尤为显著。但即便如此，Gemini的表现仍明显落后于其他系统。
附报告链接：News Integrity in AI Assistants
