在2022年的Q4财报电话会上，马斯克曾自信满满地表态，说特斯拉在自动驾驶领域是“拿着望远镜都找不到第二名”的绝对领先者。彼时，特斯拉的自动驾驶已经跳票了整整6年，《华尔街日报》甚至委婉地表示，市场已经不再相信马斯克给出的时间表了。

然而仅仅一年之后，2024年初，特斯拉开始小范围推送FSD V12。到了3月，它正式将FSD Beta更名为FSD Supervised，特斯拉智驾团队负责人AShok Elluswamy直接在X（原推特）上放话：基于“端到端”技术的FSD V12，仅仅训练了几个月，表现就全面超越了积累数年的V11版本。

图1. AShok Elluswamy在X（原推特）上发文

这还没完，FSD V12推出后，业界大佬们的反应很值得玩味。英伟达CEO黄仁勋在接受采访时直接表示“特斯拉在自动驾驶方面遥遥领先”，并特别点出V12的革命性在于它是一个“端到端的生成模型”。戴尔科技CEO Michael Dell也发推说“新版本令人印象深刻，就像人类司机一样”。就连曾经比特斯拉还“剑拔弩张”的小鹏汽车董事长何小鹏，试驾完V12.3.6后都在微博上直言“表现极好，要向其学习”，还不忘补了一句“今年的FSD和以前的特斯拉自动驾驶完全就是两个东西，我非常赞赏”。

图 2. 英伟达CEO黄仁勋表示，特斯拉自动驾驶遥遥领先

那么，到底是什么样的改动，能让FSD V12在短短几个月内，就超越了之前数年的积累？答案就藏在“端到端”这三个字里。要想搞懂特斯拉V12带来的翻天覆地的变化，我们得先从自动驾驶的基本框架聊起，再回顾一下FSD V12的“前世”。这篇文章力求在保证专业性的同时降低阅读门槛，用尽可能通俗易懂的方式，把那些听起来很唬人的概念——比如“模块化”、“BEV鸟瞰图+Transformer”、“Occupancy占用网络”——拆解清楚。读完它，你会对当下行业最火的“端到端”有个清晰的认知，也能理解为什么很多人都说自动驾驶的ChatGPT时刻正在到来。

文章确实有点长，但耐心看完，应该会有收获。

初识自动驾驶：从模块化到端到端

1.1 自动驾驶分级

正式开讲前，我们需要先了解一个共识框架。目前国内外普遍采用的是SAE（国际汽车工程学会）的自动驾驶分级标准，从L0到L5一共6个级别。简单来说，级别越高，需要驾驶员手动接管的情况就越少。到了L4、L5，理论上方向盘和踏板都可以不用装了，车辆自己就能搞定一切。

图3. SAE J3016自动驾驶分级

• L0级： 无自动化
• L1级： “部分解放司机双脚”的辅助驾驶
• L2级： “部分解放司机双手”（部分自动化）—— 这是目前多数车辆所处的阶段
• L3级： “部分解放司机双眼”（有条件自动化）—— 当前发展阶段
• L4级： “解放司机大脑”（高度自动化）
• L5级： “无人”（完全自动化）

1.2 自动驾驶设计理念：模块化 vs 端到端

搞清楚分级后，我们得接着聊车辆是怎么实现自动驾驶的。目前主要有两种设计理念：传统的“模块化”和现在大热的“端到端”。从2023年开始，在特斯拉的示范效应下，“端到端”已经逐渐成了行业和学术界的共识。这一点，从2023年CVPR最佳论文花落UniAD（一种端到端方案），到华&为、理想、小鹏、蔚来等国内厂商纷纷跟进，都能看出来。

1.2.1 模块化

图4. 模块化架构简洁示意图

什么是模块化？简单说，就是把自动驾驶这个复杂任务拆成三个独立的模块：感知、决策规划、执行控制。研究人员可以像“调参数”一样，分别调整每个模块来适应不同的场景。

感知模块： 负责收集和解释车辆周围的环境信息，通过摄像头、激光雷达、毫米波雷达等传感器，识别出周围有哪些物体，比如其他车辆、行人、红绿灯、车道线等。可以说，在“端到端”大规模上车之前，自动驾驶的大部分技术迭代都集中在这一块。核心目标就是让车辆的感知能力达到甚至超越人类水平，让它能像你一样注意到红灯、加塞的车辆，甚至是路边蹿出来的一条狗。

注：感知模块有时还包含“定位”这一子任务，比如有些企业会采用高精地图来精确确定车辆位置，但高精地图成本高、数据获取难度大，大规模推广有困难。

决策规划模块： 这个模块就像车辆的大脑。它基于感知模块输出的信息，来预测其他交通参与者下一步要做什么，并制定出车辆的行驶策略，比如最佳行驶路径、何时变道超车、面对加塞是让行还是抢行等等。在模块化时代，这部分是基于代码规则（Rule based）来工作的。举个例子，代码里写好了“红灯停、绿灯行、见行人要让行”，那么车辆就照做。但如果发生的情况是代码里没有写进去的，比如前方有一群鸭子过马路，那车辆就可能会“不知所措”。

控制模块： 这个模块就简单了，它负责执行决策模块输出的指令，控制油门、刹车和方向盘。如果说决策模块是制定作战计划的军师，那控制模块就是听从命令、指哪打哪的士兵。

模块化的优缺点：

• 优点： 可解释、可验证、易调试。因为每个模块相对独立，当车辆出现异常行为时，工程师可以像“排查故障”一样，回溯到具体的模块去找到问题出在哪，然后针对性地调整参数。比如，车辆在应对加塞时刹车太猛，那就调整对应工况下的速度、加速度参数即可。

• 缺点： 信息传递有损耗、任务散落导致效率低下、存在复合误差、规则难以穷尽导致开发维护成本高。

这里重点说两个缺点。第一个是“信息损耗”。传感器捕捉到的信息，经过感知、决策、控制等多个环节传递，就像“传话游戏”一样，中间的编码、解码都会带来信息的扭曲和丢失。最后输出的指令，可能已经和最初的意图有了偏差。

第二个是“规则难以穷尽”。大家如果理解了模块化是基于规则的，那么你很快就会意识到一个问题：现实世界是无限复杂的，工程师无论如何也写不出能覆盖所有情况的代码。法律条文、交通规则加上所有可能的突发状况（比如马路上突然出现一只猴子在和路人打架），其组合数量几乎是无限的。靠堆叠代码来处理，最终只会发现“人力有时穷”。

1.2.2 端到端

讲完了模块化的局限，我们再来看眼下被寄予厚望的“端到端”到底是个什么东西。说白了，端到端（End-to-End）就是信息从一头进去，直接就从另一头出来，中间没有那么多模块传来传去，一站式搞定。

具体来说，它基于一个统一的神经网络，从原始传感器数据直接输入，到最后输出控制指令，整个过程是一个连续的、可学习的决策闭环。这中间不再需要工程师去写无穷无尽的规则代码。另一个核心理念是“无损的信息传递”——信息不再是被拆解、打包、再传递，而是一气呵成。

图6. 模块化 vs 端到端架构简洁示意图

我们用两个例子来直观对比模块化和端到端的区别。

模块化理念下的车辆，就像一个在驾校学车但毫无悟性的新手，教练（代码规则）说“红灯停”它就停，说“注意行人”它就注意。一旦遇到教练没教过的场景，比如前车突然掉头，它就彻底傻眼在原地（就像武汉那个被戏称为“芍萝卜”的无人驾驶车）。

而端到端理念下的车辆，则像一个有自主意识和学习能力的新手司机。它刚开始可能也是个菜鸟，但它会通过观察海量的优秀老司机驾驶视频来模仿学习。只要给它看成百上千万的视频，它就能慢慢积淀出真正的驾驶“手感”，最终开起车来只有一个字能形容，那就是“稳”。

图7. 模块化 vs 端到端 资料来源：Li, Xin, et al. Towards knowledge-driven autonomous driving

如图7所示，基于规则驱动的模块化车辆，到了某个水平上限（比如大学）就很难再往上突破。而基于数据驱动（海量驾驶视频）的端到端系统，虽然初期可能只是小学水平，但它具备极强的成长性和学习能力，通过强化学习和模仿学习，很快就能进修到“博士”水平。这就像余承东对FSD的评价：“下限低，上限高”——只要有足够优质的数据，它就能迅速摆脱低水平的泥潭。

当然，目前行业内对“端到端”的准确定义仍然存在争议。有一种比较“技术原教旨主义”的观点认为，市面上很多公司宣称的“端到端”其实不算真正的端到端，真正的端到端应该是“全局端到端”，从传感器输入到控制信号输出，中间所有步骤都是可导的，可以进行全局优化。另一种“实用主义”观点则认为，只要基本原理符合，能让车辆的实际表现显著提升，那就是好的端到端。

端到端的三大划分

有的朋友可能会问，端到端还有不同的分类？没错，目前主流看法可以划分为三类（本文采用英伟达GTC大会的划分），分别是显式端到端、隐式端到端，以及基于大语言模型的端到端。

图8. 端到端自动驾驶算法的三大落地形式 资料来源：英伟达GTC大会

显式端到端

显式端到端，通俗点说就是“端到端了但又没有完全端到端”，也常被叫作“模块化的端到端”。它用神经网络替换掉了原有的算法模块，然后把这些模块连接成一个端到端的算法。这样做的好处是，虽然不再需要工程师写规则代码，但依然“可见”中间结果。当车辆出现不良行为时，可以一定程度上进行回溯和调整（即所谓的“白盒”）。决策规划模块从手写规则，转向了基于深度学习。

获得2023年CVPR最佳论文的UniAD模型，就是典型的显式端到端。从它的架构图中，我们可以清楚地看到，感知、预测、规划等模块依然存在，只是它们之间采用了向量的方式进行连接。

隐式端到端

隐式端的端到端，构建的是一个整体化的基础模型。它利用海量传感器数据，直接监督最终的驾驶控制信号进行训练。中间没有任何可见的、独立的模块。这也就是“技术原教旨主义者”眼中的“真·端到端”——传感器信息一头进，控制信号另一头出，中间只有一个黑箱般的神经网络。

和显式端到端对比，隐式端到端就像你问一个ChatGPT一个问题，它直接给你答案，而你完全不知道它的思考过程。这个“黑盒”特性既是优点（信息无损传递、全局优化），也是缺点（当车辆出现意外行为时，你无法回溯原因，因为它已经是个混沌的整体了）。这正是目前隐式端到端面临的最大挑战。

生成式AI大模型的端到端

ChatGPT的成功给自动驾驶带来了新的灵感。它的核心思路是：利用海量、低成本、无需标注的数据进行训练，并且具备人机交互能力。自动驾驶可以效仿这个模式，用大语言模型来生成多样化的训练数据，或者直接用大模型来输出驾驶决策。

这里需要多说两句。目前自动驾驶数据有个大问题，就是“价值极低”。大约90%都是正常行驶的平淡无奇的数据，就像特斯拉的影子模式一样，马斯克自己都承认这种数据有效性可能只有万分之一甚至更低。另一类是事故数据，这是错误示范，用来训练也做不到举一反三。而端到端系统作为一个“黑盒”，它需要海量高质量、多样化的数据才能学到东西。

引入生成式AI大模型，就是为了解决这个数据瓶颈。它能低成本地生成海量接近真实、包含各种罕见危险场景的多样化训练视频数据，减少对昂贵人工标注的依赖。更深一层，大语言模型端到端的核心，是希望神经网络能够像人类一样“习得因果关系”。我们人类司机遇到从没见过但可能有危险的情况（比如路上突然出现一只霸王龙），也能凭过往经验推断出“得赶紧跑”，这就是希望大模型能做到的事——不只是概率输出，而是能通过观察和无监督交互学习物理世界的运行逻辑，真正像人一样开车。

世界模型应用于自动驾驶的综合解决方案 资料来源: Guan, Yanchen, et al. “World models for autonomous driving: An initial survey.”

目前，因为特斯拉还没召开第三次AI Day，其具体网络架构尚不明朗。但根据其负责人Ashok在2023年CVPR上的发言和马斯克的一些回应来看，有理由推测特斯拉的端到端模型很可能就是基于大语言模型（或者叫“世界模型”）的。这值得我们期待。

端到端的优缺点

图10. 端到端架构简洁示意图

• 优点： 无损的信息传递、完全由数据驱动、具备学习能力和更强的泛化能力。随着感知、决策规划路径逐渐明确，它为迈向L4级无人驾驶提供了巨大的想象空间。

• 缺点： 不可解释（黑盒）、对算力和数据的需求极大、存在“幻觉”问题。

用过ChatGPT等大语言模型的朋友都知道，它们有时候会“一本正经地胡说八道”。聊天时胡说八道无关痛痒，但如果在马路上，你的车“一本正经地乱开”，那可是会要人命的！而且因为黑盒问题，你还查不到原因。这正是目前端到端方案最需要解决的问题。一个常见的解决方案是加入“安全冗余”网络，就像华&为ADS 3.0的“本能安全网络”一样，给系统增加一道最后的保险。

此外，算力和数据的门槛非常高。根据辰韬资本的报告，虽然很多公司说100张大算力GPU能支持一次训练，但真要量产、要走向大模型，训练算力规模基本都在千卡级别以上，而且会越来越捉襟见肘。算力的背后是钱，而由于美国的芯片禁令，这一困境对国内厂商更是雪上加霜。就像理想汽车智能驾驶的郎咸朋说的那样，“未来一年10亿美元只是入场券”。

讲到这里，自动驾驶最基础的方法论框架就梳理清楚了。回过头来看，自动驾驶的进步，很大程度上是在沿着特斯拉设定的路线往前走。各家厂商或许会在原有路线上有创新，但本质并未偏离。从这个角度看，能跟住特斯拉，本身就是一种能力。接下来，我们就结合模块化和端到端的发展，具体聊聊特斯拉FSD V12的“前世今生”。

特斯拉FSD的前世今生

2.1 特斯拉FSD V12的“前世”

特斯拉智能驾驶的发展史，几乎就是自动驾驶行业最重要一条路线的发展史。2014年，特斯拉第一代硬件Hardware 1.0采用Mobileye的黑盒方案，但因为2016年的“全球首宗自动驾驶致命事故”，合作宣告破裂，核心原因之一就是特斯拉无法修改Mobileye的封闭算法，也无法共享数据。

2016年至2019年，是特斯拉的“自研过渡期”。2019年硬件升级到3.0，并搭载了第一代自研FSD芯片，增加了“影子模式”，开始大规模收集自动驾驶数据，为日后的纯视觉路线打下基础。

2019年到2024年FSD V12大范围推广前，是“全面自研时期”。特斯拉在算法上不断进化：2019年提出HydraNet九头蛇算法，2020年聚焦纯视觉，并在2021、2022年的AI Day上接连公布了BEV和Occupancy网络架构。在北美的验证成功后，国内厂商纷纷跟进了这套“BEV + Transformer + Occupancy”的感知框架，但通常晚了1-2年。要理解这个时期，得明白模块化智驾的核心是“感知模块”，即如何让车辆更好地理解传感器输入的世界。特斯拉在V12之前做的绝大部分工作，本质上都是在让感知模块变得更智能，可以看作是让“感知模块”走向了端到端。而作为“大脑”的决策规划模块，则沿用了基于规则的蒙特卡洛树搜索+神经网络的方案（就像AlphaGo下棋的思路），控制模块则更多是硬件层面的事。

感知侧的进化：

2017年，Andrej Karpathy加入特斯拉，拉开了感知侧端到端进化的序幕。

（1）HydraNet九头蛇算法——2021年AI Day公布

这就像给车辆装了多个专门负责不同任务的“小脑袋”。它的核心思路是：一个主干网络先处理最基础的信息，然后共享给不同的“小脑袋”。有的“脑袋”专门识别车道线，有的专门识别人行横道，有的专门识别行人。这样各司其职，互不干扰，而且主干网络处理过一次后，各任务不用重复处理，效率很高。

（2）BEV（鸟瞰视角）+ Transformer——2021年AI Day公布

如果说HydraNet让车辆能“认出”东西，那BEV + Transformer就让车辆建立了“空间感知”。它解决了如何将8个摄像头拍到的2D平面图像，转换成车辆在3D空间中的感知问题。BEV（鸟瞰视角）就像在高空俯瞰地面，把多个摄像头图像拼接成一个平面的、完整的道路环境图。而Transformer就像一个超级拼图玩家，它能将来自不同摄像头的、不同角度的数据有效融合，最终输出一个统一的3D鸟瞰图。这标志着特斯拉开始摆脱对高精地图的依赖。

（3）Occupancy Network占用网络——2022年AI Day公布

这个网络的加入让感知从2D真正变成了3D，甚至结合时间信息后变成了4D。它的核心思想很碘伏：不关心“你是啥”（识别物体），只关心“那里有没有东西”。它把车辆周围的3D空间划分成无数个小立方体（体素），然后判断每个小立方体是否被“占用”。这下，不管路上出现的是猫、狗、还是装满玩具的卡车，只要它占用了空间，系统就能感知到并做出避让。这就像你在黑夜中开车，虽然看不清前面具体是什么，但你知道“那里有障碍物”，所以选择绕开。

（4）技术路线收敛

从这些发展能看出清晰的技术迭代脉络：2021年FSD V9推出BEV网络，国内2023年跟进上车；2022年特斯拉公布Occupancy，国内2023-2024年跟进；2023年特斯拉宣布FSD V12采用端到端，国内2024年纷纷跟进采用模块化的端到端。国内厂商整体落后了特斯拉大约1-2年。

2.2 特斯拉FSD V12的“今生”

回到文章开头，特斯拉智驾负责人AShok Elluswamy说V12仅仅训练几个月就超越了V11数年积累。业界大佬们也纷纷点赞。这表明FSD V12和V11几乎就是两个物种。V12上车后，一个显著的变化是迭代速度飞快，超过30万行的C++代码被缩减到几千行。消费者和从业者最直观的感受就是：它开得更像人了。

我们虽然不清楚特斯拉实现蜕变的全部细节，但从Ashok在2023年CVPR上的发言可以推断，其端到端模型很可能是在Occupancy网络的基础上构建的：Occupancy网络提取的丰富特征，成为了整个大模型的基座。

开启端到端时代后，车企的智驾水平主要由三个因素决定：海量的高质量行车数据、大规模的算力储备、端到端模型本身。和ChatGPT类似，这也遵循“海量数据 x 大算力 = 暴力美学”的路线。在这种力量的加持下，系统可能会突然涌现出令人惊艳的表现。由于不清楚特斯拉的具体模型，我们主要看数据和算力这两项硬指标。

算力壁垒： FSD的发展史，某种程度上就是算力的积累史。马斯克曾吐槽“算力制约了FSD功能的迭代”，但Dojo芯片投入量产，加上持续部署的GPU集群，特斯拉的算力规模迅速进入全球前五。预计到2024年10月有望达到100EFLOPS，相当于约30万张A100显卡的水平。相比之下，国内厂商的算力储备差距明显。而且算力背后是惊人的投入，马斯克说2024年将在自动驾驶领域投资超过100亿美元。这应验了那句话：“未来一年10亿美元只是入场券”。

高质量数据： 端到端的智驾就像一个天才少年，需要喂给它大量的、高质量的老司机驾驶视频才能成才。马斯克在财报会上提到，“100万个视频案例训练，勉强够用；200万个，稍好一些；300万个，就会感到Wow；到了1000万个，就难以置信了。” 特斯拉的天生优势，在于其数百万辆量产车配备了“影子模式”，可以24小时不间断地收集真实世界的驾驶数据。Andrej Karpathy曾透露，特斯拉自动驾驶团队将3/4的精力用在数据的采集、清洗、分类和标注上，只有1/4用于算法探索和模型创建。截至2024年4月，FSD用户的累计行驶里程已超10亿英里。这个规模，让国内任何一家厂商都望尘莫及。而这，才是决定模型表现的真正优势所在。

图26. FSD用户累计行驶里程超过10亿英里

结语

当然，最终效果如何，还得看实际的路上表现。特斯拉FSD V12目前主要在路况相对规矩的美国运行。中国的交通环境复杂得多，行人、电动车随时可能窜出来。但换个角度想，一个能在美国熟练开车的人，没道理到中国就不会开了，何况其核心能力就是“学习”。也许刚落地时表现不如本土那么惊艳，但参考V12版本之前的迭代速度，或许半年到一年后，它就能适应中国复杂的道路情况。

这个判断，对国内所有智驾企业来说，既是压力，也是动力。大家都拭目以待，看各家将如何应对这个已经在美国得到验证、且正加速迭代的FSD V12。