游乐游手机版
首页/AI教程/文章详情

Gemini 3 Flash评测:幻觉率高达91%

时间:2026-06-24 11:46
Gemini3Flash在AA-Omniscience基准测试中幻觉率高达91%,几乎在所有模型中垫底;在LisanBench上排名第12,平均有效性比率仅87%。与DeepSeek-V3 2Thinking等开源模型相比,其性价比更低,尤其低配版表现更差,从而引发了对模型稳定性与准确性平衡的深入思考。

尽管 Gemini 3 Flash 发布后获得了广泛好评,但 AA-Omniscience 基准的最新数据却为这股热情浇了一盆冷水:该模型的幻觉率高达 91%,在所有参测模型中几乎垫底。所谓幻觉率,简而言之,就是模型在应该回答“我不知道”的时候,强行编造出一个答案的比例——这恰恰是大型语言模型最致命的缺陷之一。

\

\

在覆盖范围更广泛的 LisanBench 测试中,Gemini 3 Flash 仅位列第 12 名(Glicko-2 Elo 排名第 13)。该基准专门评估模型的前瞻性规划、词汇深度、约束遵循、注意力以及长上下文持久力——听上去颇为复杂,本质上却是一个词汇链游戏:模型需要借助莱文斯坦距离为 1 的变换规则,连续生成有效的单词链条。测试者 Lisan al Gaib 采用了“reasoning effort high”设置,整项测试成本仅略高于 16 美元。结果表明,Gemini 3 Flash 的表现与 DeepSeek-V3.2 Thinking、Kimi-K2-Thinking 等开源模型,以及 GPT-5、Sonnet-4 等业界前沿模型大致持平。

\

然而更值得关注的指标是平均有效性比率,它直接反映了模型在词汇链中生成错误链接或错误单词的概率。Gemini 3 Flash 在此项仅获得 87%,数据颇为刺目,也正好印证了此前高幻觉率的问题——并非偶然,而是系统性的短板。

从推理效率图来看,Gemini 3 Flash 在平均输出 Token 数量与平均最长有效链长度之间的平衡并不理想。与开源替代品相比,性价比差距一目了然:Gemini 3 Flash 输入定价 0.5 美元、输出定价 3.00 美元,而 DeepSeek-V3.2 Thinking 仅需输入 0.28 美元、输出 0.42 美元——后者不仅得分更高、价格更实惠,而且使用的 Token 数更少。如果切换至低资源设置,Gemini 3 Flash 的低配版表现更为惨淡:得分大约只有高配版的一半,Token 用量同样减半,有效性比率更是“极为糟糕”。

当前 AI 模型竞争白热化,Gemini 3 Flash 的表现再次引发了一个老生常谈的问题:模型能力之间的平衡究竟该如何取舍?当年 DeepSeek R1 推出时也曾面临类似的争议。高幻觉率绝非小事——虽然有人可能将其视为“创造力”的体现,但在实际落地场景中,不准确性可能直接导致严重后果。归根结底,稳定性和准确性才是衡量模型质量的核心标尺。

来源:https://cloud.tencent.com.cn/developer/article/2695719
上一篇最新研究揭示大模型角色扮演无效了? 下一篇SGLang迷你版用5千行代码实现LLM推理核心
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
Windows Docker Desktop RabbitMQ生产级部署完整指南
AI教程 · 2026-06-29

Windows Docker Desktop RabbitMQ生产级部署完整指南

前言 在 Windows 本地开发环境中,直接安装 RabbitMQ 确实颇为周折:需要单独配置 Erlang 运行环境、手动管理环境变量、服务启停全凭手工操作。更令人困扰的是,版本兼容冲突、端口占用、环境不一致等问题层出不穷。笔者见过不少开发者为搭建环境就得耗费整整半天时间。 相比之下,借助 Do

AI搜索重构制造业采购逻辑的阿里云企业级GEOCMS优化实践
AI教程 · 2026-06-29

AI搜索重构制造业采购逻辑的阿里云企业级GEOCMS优化实践

先分享一个切实感受。过去两年,我们与福建制造企业合作较为频繁,发现一个非常突出的现象:超过80%的企业官网,产品参数仍然存放在PDF或图片中。AI爬虫?根本无法抓取。这些企业技术实力不弱、资质证照齐全、应用案例也丰富,但在AI搜索这一全新战场上,它们几乎处于隐身状态。 一、一个正在发生的行业变化 A

阿里云Token Plan团队版功能价格与省钱购买指南
AI教程 · 2026-06-29

阿里云Token Plan团队版功能价格与省钱购买指南

阿里云百炼近期推出了名为“Token Plan 团队版”的全新服务,这一服务专为企业与开发者量身打造,定位为AI大模型订阅平台。通过引入Credits作为统一计量单位,将文本生成、图像生成等多模态AI能力纳入单一计费体系,同时无缝兼容主流AI编程工具及智能体(Agent)生态系统。其核心亮点包括:全

阿里云物联网.NET Core客户端位置信息上报
AI教程 · 2026-06-29

阿里云物联网.NET Core客户端位置信息上报

阿里云物联网平台的位置服务并非一个完全独立的功能模块。位置信息可包含二维坐标与三维坐标,而位置数据的来源本质上是借助设备属性进行上传。换言之,若要让设备上报位置,您需先将其视为一个普通属性进行处理。 1)添加二维位置数据 操作过程十分简洁。进入数据分析 → 空间数据可视化 → 二维数据,点击添加,将

年阿里云服务器选型配置与网站部署全攻略
AI教程 · 2026-06-29

年阿里云服务器选型配置与网站部署全攻略

2026年,阿里云服务器生态已高度成熟,形成了清晰的轻量应用服务器与ECS云服务器两大产品阵营。无论你是计划搭建个人博客、企业官网,还是运营电商平台、进行应用开发,基本都能找到理想的解决方案。本指南将从服务器选型、配置选择、部署流程到安全运维,系统梳理2026年最实用的操作要点,帮助你少走弯路,让网