小鹏北大VLA顶会论文:小模型推理提速4倍,跑赢大模型

车东西(公众号:chedongxi)
作者 | Janson
编辑 | 志豪
端到端自动驾驶大模型可以“脱离云端、直接上车”了?!
车东西12月29日消息,日前,北京大学与小鹏汽车团队的最新研究成果FastDriveVLA被人工智能顶会AAAI 2026收录。

▲小鹏官宣此次获奖信息
这次双方研究的内容并非实验室里的纸上谈兵,而是通过一个参数量仅为0.07B(7000万)、计算开销几乎可以忽略不计的即插即用模块ReconPruner,硬生生将VLA大模型的整体计算量(FLOPs)削减了7.5倍。
要知道,车端算力“寸土寸金”,它打通了高性能AI算法与量产硬件之间的“天堑”。
这意味着原本需要昂贵算力集群支撑的端到端大模型,现在已经具备了在英伟达等主流车载芯片上实现低延迟、高响应运行的能力。
AAAI2026作为人工智能领域的CCF-A类顶级会议,北京大学与小鹏汽车的研究论文被这样的顶会收录,也说明了其研究内容的价值。
一、车机算力有限 让AI学会“只看重点”
在智驾系统进入“端到端”时代的当下,VLA模型展现出的拟人化推理能力也让自动驾驶进入到一个新高度,但随之而来的“算力黑洞”也让工程师们倍感头疼。
举个例子,为了让AI看清复杂的十字路口,系统必须将高清图像切碎成数以千计的Token喂给大模型。
这样就造成了一个问题——视觉Token的通胀,在毫秒必争的驾驶决策中,庞大的计算量直接导致了车机“跑不动、反应慢”,甚至可能出现因推理延迟导致的系统卡顿。
此前,业界并非没有尝试过对这些Token进行“剪枝”去重,但效果不稳定,像盲人摸象。

▲三种剪枝策略对比
传统的注意力剪枝法(Attention-based)过度依赖文本指令,但在自动驾驶场景下,简单的驾驶指令往往无法提供足够的辨识权重,导致系统为了追求极致速度,可能会在不经意间删掉远处微小的红绿灯或障碍物。
而另一类基于相似度的剪枝法(Similarity-based)则过于追求视觉上的多样性,它们可能会为了保留独特性而记录路边的野花和天空的流云,却忽略了对决策至关重要的、平淡无奇的路面信息。
对此,北京大学和小鹏汽车团队合作的FastDriveVLA引入了极其朴素的“人类驾驶直觉”。
就像老司机在开车时,视网膜会自动过滤掉高耸的建筑和空旷的天空,瞳孔始终锁定的只有路面、行人和周边的车辆。
这种对“前景信息”的专注,正是FastDriveVLA的方案逻辑核心,AI不再对整张图像进行全量计算,而是精准捕捉并保留关键的前景Token。
这种思维转变,让AI对算力的要求减少7.5倍,也避免了算力的浪费。
二、ReconPruner 一个0.07B的“超级过滤器”
能实现上边的这种效率的提升,离不开ReconPruner这个参数量仅为0.07B的微型模块。如果说VLA模型是整车智驾的“大脑”,那么ReconPruner就是一个敏锐且轻量化的视觉中枢。
在AI领域,优化庞大的模型通常意味着动辄数万美元的重新训练成本,但ReconPruner这7000万参数的量级对于动辄3B起步的VLA主模型来说几乎可以忽略不计。

▲FastDriveVLA总体架构
它能够以即插即用的方式无缝集成到Qwen2.5-VL等大模型上,这种设计不仅极大地降低了量产部署的门槛,也让现有的智驾模型可以低成本升级,而无需修改主模型。
但真正让ReconPruner产生质变的,是一套被称为“对抗重建(AFBR)”的设计逻辑。
这套策略本质上是系统要求ReconPruner利用选中的Token尝试还原画面,如果它选出的Token确实包含了车辆、车道线等核心前景,重建出的画面质量就会更高。
反之,如果它关注了背景,重建结果就会不理想。
为了防止AI在这一过程偷懒,研究团队还引入了对抗博弈机制,强制要求模块必须在前景和背景之间做出明确的价值判断。
在这种严苛的训练下,ReconPruner被打磨成了一个能精准锁定关键驾驶目标的过滤器。
而支撑起这套“视觉本能”的基础,则是北大与小鹏团队潜心构建的nuScenes-FG数据集。

▲nuScenes-FG数据集
这套包含24.1万对高质量标注图像的数据集,对复杂的交通环境进行了像素级的拆解,将车辆、行人和道路边界等关键前景从杂乱的背景噪声中剥离出来。
正是这些海量的、带有标准答案的教材,喂出了AI的驾驶直觉,让FastDriveVLA能够在大模型处理海量视觉流的瞬间,精准切中影响安全的核心关键。
三、计算量缩减7.5倍 AI反而变聪明了?
在科技产品的迭代逻辑中,人们往往习惯了性能越高,功耗越高的直觉,但FastDriveVLA在测试场拿出的硬核数据,却展示了一种“反直觉”的进化。
从算力开销来看,FastDriveVLA对冗余信息的修剪堪称“暴力”。在nuScenes基准测试中,VLA模型的整体算力开销(FLOPs)从原始的38.2T骤降至5.1T,整整实现了7.5倍的缩减。

▲不同模型效率分析
这种算力压力的释放直接反馈在了推理速度上,这套模型在预填充阶段(Prefill)实现了3.7倍的提速,而解码阶段(Decode)也提升了1.3倍。
对于智驾系统而言,这省下的每一毫秒,都是为突发情况争取时间。
除此之外,性能的反常识增长也是这个模型的关键能力。

▲不同模型的性能对比
实验数据显示,在将视觉Token剪枝25%的情况下,FastDriveVLA在L2轨迹预测误差和路面边界交集率等核心指标上,超过了未经过任何剪枝的完整模型。
这就引发了一个值得思考的问题,为什么小模型反而比“大模型”更聪明?
从这个模型设计原理中不难看出,当下,冗余信息往往是AI决策的干扰项,当AI分配算力去处理天上的云朵(参数丨图片)、路边的写字楼或无关紧要的植被时,这些背景噪声都在稀释大模型的逻辑推理能力。

▲不同算法的“眼力”对比
FastDriveVLA就像是一个专业降噪器,通过过滤掉这些噪声,让大模型得以专注核心任务。
这也让AI的规划逻辑从过去的“博而不精”,进化成了如今可以对相关场景实现“精准打击”。
结语:VLA效率再提升
小鹏与北大的这项研究让已经上车的VLA模型,跑得更轻盈、更聪明。
FastDriveVLA的出现,本质上是对算力不足恐惧症的化解,在智能驾驶的下半场,竞争不再仅仅取决于谁的模型参数更大,而在于谁能更高效地利用每一分车载算力。
可以说,这种通过复刻人类驾驶的方法,让ReconPruner 这种极轻量化模块不仅解决了感知层面的噪声干扰,更打通了顶层算法与底层硬件之间的效能壁垒。
相关攻略
Matrix 是一种开放且去中心化的即时通讯协议,允许用户自主部署私有服务器并接入全球 Matrix 联邦网络。OpenClaw 网关通过集成 Matrix 的 Client-Server API,实现与这一分布式通信生态的无缝对接。 前置准备 在配置 OpenClaw 连接 Matrix 之前,请
周二晚间,AI领域迎来了一则重磅消息。在权威AI评测平台Artificial Analysis的榜单上,一个名为「HappyHorse-1 0」的神秘模型异军突起,一举登顶视频生成能力排行榜,引发了业界的广泛关注与热议。 这一成绩极具含金量。无论是文本生成视频,还是图像生成视频,HappyHorse
当AI开始学会“脑补”物理世界的运行规律,并尝试模拟一个动态变化的真实环境时,我们距离那个传说中的通用人工智能(AGI)究竟还有多远? 进入2026年以来,“世界模型”毫无悬念地成为了科技圈最炙手可热的核心议题。它标志着一个关键的范式转变:人工智能正从被动地“感知当下”,迈向主动地对时空与动态变化进
上周三关于“世界模型”的线上沙龙反响空前热烈,这充分表明,从被动感知迈向主动推演,这条被视为实现通用人工智能(AGI)的核心技术路径,正深度吸引着整个AI行业的关注。鉴于持续高涨的讨论热度,我们决定加开一场深度分享会。 那么,这条充满潜力却又极具挑战性的前沿赛道,目前进展到了何种阶段?顶尖的研究者们
数字逻辑与物质建构的深度对话 ——评许哲诚“境域·生成”计算性设计展演 □ 丁雅力(江苏省美术馆策展人) 当代设计与造物的核心范式,正经历着由计算性设计带来的深刻变革。2026年3月20日,南京艺术学院教师许哲诚于南京莫玄空间呈现的“境域·生成”个人专场展演,正是这一前沿趋势的集中体现。本次展览超越
热门专题
热门推荐
人工智能正改变表格合并方式,大幅提升数据处理效率。例如,某电商平台借助AI将处理时间从48小时缩短至2小时,并减少人工错误。调查显示,超七成企业已部署AI工具且效率显著提升。AI不仅节约成本,还推动决策更科学。未来需在效率与数据安全间寻求平衡。
在数据爆炸时代,AI正为传统表格处理带来变革。通过自动生成图表、快速分析趋势等功能,AI显著提升了数据处理效率。然而,数据安全与隐私风险仍是企业关注的核心挑战。未来,表格将趋向智能化与自适应,成为更高效、用户友好的分析工具,为企业创造新的机遇。
AI技术正深度改变表格处理领域,通过自动化数据整理、智能预测分析和增强实时协作显著提升效率。然而,数据隐私安全与算法“黑箱”问题仍是主要挑战。企业需优先考虑数据保护与算法透明度,未来结合自然语言处理的新一代工具将进一步简化表格工作,带来更多可能性。
AI工具显著提升了表格制作效率与数据呈现效果。它能通过自然语言生成框架、自动分析趋势,将原本耗时的手工流程大幅压缩。不同工具各有侧重,需结合实际需求选择。未来,AI将与深度分析更紧密结合,实现智能洞察输出。主动拥抱技术革新,才能提升数据竞争力。
人工智能正革新表格处理,通过OCR与自然语言技术自动识别提取数据,大幅提升录入效率。实践显示,AI在订单处理等重复任务中效果显著,减轻人力负担。未来需兼顾数据安全与工具易用性,推动人机协同——AI负责规则性工作,人类聚焦创造性决策。





