游乐游手机版
首页/AI热点日报/热点详情

亚马逊推自动推理检查工具,精准对抗AI幻觉

类型:热点整理2026-06-23
亚马逊在re:Invent2024大会推出“自动推理检查”工具,纳入Bedrock服务的Guardrails。该工具利用客户提供的业务数据构建事实基础,自动生成逻辑规则并交叉验证模型回答,发现幻觉时推导正确结果。AWS称其为首个针对性防护,但微软和谷歌已有类似功能。

在拉斯维加斯举办的re:Invent 2024大会上,AWS宣布了一项重大举措。他们推出了一款全新工具,旨在解决生成式AI模型长期存在的顽疾——生成不准确或虚假信息(即AI幻觉)。

亚马逊推出“自动推理检查”工具,对抗 AI幻觉

该工具名为“自动推理检查”(Automated Reasoning Checks),作为AWS Bedrock模型托管服务的一部分,具体来说是Bedrock中Guardrails工具的新增功能。其核心机制非常直观:以客户提供的信息作为“事实标尺”,对模型生成的内容进行交叉验证,判断其是在认真作答还是信口开河。简而言之,在模型输出结果后,系统会再派一个“质检员”进行核对。

不过,AWS自称这是“首个”且“唯一”应对AI幻觉的防护措施,这一表述略显绝对。事实上,微软在今年夏天推出的“校正”(Correction)功能,几乎实现了相同的目标——标记可能出错的AI文本。谷歌也不甘人后,其Vertex AI平台早已提供工具,允许客户利用自有数据集、第三方数据甚至谷歌搜索来验证模型输出。

那么,“自动推理检查”具体如何运作?企业需先将其业务数据和知识库输入系统,构建一个“事实基础”。随后,工具基于该基础自动生成一系列逻辑规则,这些规则可反复优化并应用于模型。当模型输出回答时,“自动推理检查”在后台启动验证。一旦检测到潜在错误,它会利用事实基础推导出正确回答,并将“正确版本”与“疑似幻觉版本”一同呈现给用户,两者差异一目了然。

AWS人工智能与数据副总裁Swami Sivasubramanian暗示,该工具将成为吸引客户选用Bedrock的关键因素。普华永道已开始利用其为客户设计AI助手,这无疑是一份有力的背书。

然而,这是否能一劳永逸?正如今年夏天一位专家所言:试图消除生成式AI的幻觉,如同试图从水中去掉氢元素。话虽犀利,却道出了本质。AI模型本质上是一个“大规模概率统计引擎”,它并不真正“理解”任何事物,只是根据训练数据预测下一个最合适的词。因此,模型的输出并非答案,而是对问题“应该回答什么”的预测——误差不可避免。这是AI底层逻辑决定的。

AWS表示,“自动推理检查”采用“逻辑严谨、可验证”的推理方式。但问题在于,目前尚无公开数据能证明该工具的实际效果。说服力最终需要依靠真实的测试结果。因此,其实际性能仍有待在实际场景中检验。但至少,方向是正确的——与其让模型随意发挥,不如为其配备一套严谨的“事实核查”机制。

来源:https://www.1ai.net/24438.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。