游乐游手机版
首页/AI热点日报/热点详情

多措并举有效应对AI生成虚假参考文献

类型:热点整理2026-06-22
arXiv等平台系统性审核250万篇论文,发现2025年有近15万条AI编造的虚假参考文献。虚假引文在2024年中后急剧增长,与AI辅助写作爆发期吻合。现有审查机制仅能拦截少数,arXiv已对违规者实施投稿禁令。应对需强化学者责任并加强系统培训。

学术出版界近期曝出一则令人不安的消息。arXiv——全球知名的预印本平台——带领团队完成了一项重大工作:他们系统性审核了250万篇论文、1.11亿条参考文献,结果发现仅在2025年一年内,arXiv、bioRxiv、SSRN和PubMed Central这几个主要平台上,就潜藏着将近15万条由人工智能编造出来的虚假参考文献。这绝非小问题,它直接威胁科研成果的可信度以及科学知识获取的公平性。

按理说,一篇学术论文引用的资料应当经得起推敲,每条参考文献都应是经过同行评议的坚实知识锚点。然而,随着生成式AI工具在论文写作中日益普及,越来越多人发现:自己引用的文献可能压根不存在。更严重的是,有时论文本身、研究数据甚至作者身份都是伪造的。此次大规模审核证实了这一点——虚假文献并非零星出现在少数不靠谱的学者那里,而是分散在大量不同论文中。也就是说,每篇出问题的论文通常只掺了少量假条目,但这种“少量”却覆盖了极广的范围。这背后揭示了一个普遍现象:大家使用AI辅助写作时,普遍没有对其输出内容进行事实核查。

生成式AI工具最擅长生成那种看似合情合理、读起来天衣无缝,但实际上全是瞎编的内容。原理很简单:它们利用海量数据集训练,学习各种模式,然后依据这些模式预测下一个词并生成新内容。但问题在于——它们有时会根据模式“创造”内容,而非依据实际事实。这种被创造出来的东西,业内称为“幻觉内容”。别以为它只出现在学术论文里,政府工作报告、法律文件甚至知名媒体的新闻中都曾出现过。此前也有科学家研究过AI生成的幻觉内容,但要么是在实验室条件下做的小规模实验,要么只盯着狭窄领域。真正大规模、系统性的评估——尤其是科学文献中幻觉内容到底有多少、影响有多大——其实一直无人开展。

这次研究采用了一个巧妙方法:对比生成式AI工具大规模普及前后的“未匹配引用率”。结果发现,虚假文献引用在2024年年中之后出现了急剧增长,而这个时间点与AI辅助写作的爆发期高度吻合。更值得关注的是,在处于职业生涯早期的科学家和小型研究团队的论文中,虚假文献引用的比例明显更高——这或许说明,那些最需要快速产出的群体,也最容易被AI带偏。

另一个令人担忧的发现是,当前的学术质量审查机制其实相当脆弱。预印本审核、期刊编辑审稿和同行评议,按理说是虚假文献的第一道防线,但数据表明,它们只能拦住极少数假货。以arXiv为例,虽然审核流程中已经发现了一些问题,但预计仍有78.8%的虚假引文成功蒙混过关,最终出现在平台上。换句话说,AI生成的幻觉内容正在大规模渗透进知识生产体系。如果不尽快干预,后果将从误导未来的科学发现,逐渐蔓延到影响政策制定和公众对科学的信任。

面对这个系统性风险,已有平台开始动真格了。比如arXiv直接规定:只要有明确证据证明论文中存在来自生成式AI工具的幻觉内容,作者将被禁止投稿一年;期满后想重新投稿,必须通过同行评议,且首次投稿还需有担保人。与此同时,平台也在开发技术工具来应对。但研究人员强调,治本的办法仍在于确立学者本身的核心责任。AI只能是辅助工具,学者必须对自己论文里每一条引文的真实性负责。此外,期刊编辑、同行评议人和平台审核人员也需要接受系统性培训,提升识别虚假文献的能力。在AI技术飞速发展的今天,守住知识真实性的底线,需要整个学术界共同努力。

来源:https://k.sina.com.cn/article_2201275590_8334ccc600101fvgu.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。