放眼当下，各大汽车厂商在新车上搭载的自动/辅助驾驶方案，多数都离不开英伟达、Mobileye或地平线的高性能芯片，再配上Lumina、Velodyne或览沃的激光雷达。说白了，这本质上是机器视觉加高级传感器的组合。但特斯拉偏偏是个“异类”——它始终坚持纯视觉方案，只用摄像头就包揽了一切。
在上个月的机器视觉和模式识别国际会议（CVPR 2021）上，特斯拉AI主管Andrej Karpathy就详细解释了为什么他们不碰激光雷达。这位斯坦福高材生，AI大神李飞飞的得意门生之一，毕业后在OpenAI做研究，后来被埃隆·马斯克亲自挖去特斯拉负责AI业务。
低成本、易维护且方便更新的纯视觉系统
深度神经网络无疑是自动驾驶的核心技术之一。它通过处理车载摄像头传输的数据，分析道路、标志、汽车、障碍和行人。但深度学习在图像检测上偶尔会出岔子。因此，多数玩家，比如Waymo，选择用激光雷达绘制车身周围3D地图，补全神经网络遗漏的信息。
不过，Andrej指出，激光雷达也有自己的难题：你得先用昂贵的激光雷达预绘制环境，创建高分辨率地图，把街道和交通灯关联起来，然后车子就只能在这张地图里跑。问题是，绘制每个地点的精确地图本身就是个硬骨头——不是路测车辆跑几趟就能搞定的，后续还要长期维护和更新，保证基础设备和数据不掉链子。
特斯拉不这么干。Andrej说：“对我们来说，一切都是初次发生的，全靠车上的八个摄像头。”经过几年迭代，特斯拉的自动驾驶绝大多数工作都由摄像头搞定，以至于车身上其他传感器几乎“吃灰”。今年5月，特斯拉索性宣布，北美制造的Model 3和Model Y取消毫米波雷达，全面过渡到以摄像头为主、辅以超声波雷达的特斯拉视觉系统。
自动标注生成的数据集和高效的神经网络
在激光雷达和摄像头的参数比拼中，测距常常是摄像头的短板。但别忘了，人类自身不就是靠眼睛这个“纯视觉方案”来判断距离和速度的吗？那么，人工神经网络能不能做到这一点？Andrej表示，过去几个月的研究表明，答案是肯定的。
为了打造这样一个能精确检测物体距离、速度和加速度的深度学习系统，特斯拉团队把它看作一个监督式学习问题——就是通过标注数据训练，让神经网络学会检测物体及其附加属性。要做到这一点，需要海量的视频数据、清晰精确的标注，以及各种极端场景组成的样本库。
特斯拉跟其他具备数据采集能力的汽车品牌比，有个得天独厚的优势——数量。上百万辆带摄像头的车在路上跑，数据根本不愁。
在雨雪等条件下依然能够正常运转的自动标注 / 特斯拉
那标注是怎么做的呢？一种可行方案是找数据标注公司手工干，但既耗时又费钱。特斯拉的自动标注技术巧妙结合了神经网络、雷达数据和人工审查。由于数据集是离线标注的，神经网络可以来回播放视频，把预测结果和真实情况比对，不断调整参数——这和实时运行的推理恰好相反。
离线标注还有个好处：工程师可以把那些运算量大、没法部署在车上的物体检测网络用起来，专门优化低延迟的实时应用。雷达数据则用来进一步验证神经网络的推理，过程中还可以让人工介入，做些编辑、验证和调整工作。
为了更好判断速度和加速度，特斯拉团队花了4个月时间，开发了221个触发器，专门指出物体检测系统需要哪些调整——比如雷达和视觉结果对不上、物体边框抖动、纯靠主摄像头检测等等。这些触发器部署在消费车辆中，以静默模式运行了7轮，不干涉任何车辆操作，只是把输出数据和雷达数据、驾驶员行为做比较。
最后生成的数据集有多大？特斯拉自动驾驶团队收集了1.5PB的数据，包含100万个10秒视频和60亿个物体标注。
特斯拉自动驾驶神经网络架构 / 特斯拉
为了充分利用这些数据，特斯拉团队打造了一个高效的循环神经网络。数据经过多层网络结构，输出多个参数。这种架构为分布式分工创造了条件——目前特斯拉有一个约20人的团队，全力训练这个神经网络，每个人都负责自己的模块。
用来训练深度学习模型的超级计算机
处理如此庞大的工作量自然需要强劲的算力。特斯拉目前有三台用于自动驾驶开发的超算集群。最新的一台包含720个节点，每个节点配备8张英伟达A100 80GB加速卡，算下来一台机器就内置了5760个GPU。这台机器的算力高达1.8 EFLOPS，还配备了10PB的顶级NVMe存储，速率达到1.6 TBps。
内部超级计算机 / 特斯拉
此外，为了保证自动驾驶流畅运行，特斯拉自研的FSD自动驾驶芯片性能同样强悍。优势在于垂直集成开发——不管是CPU、GPU还是NPU，都能最大限度地发挥这个神经网络驱动的视觉方案。
FSD自动驾驶芯片 / 特斯拉
小结
目前，特斯拉的FSD自动驾驶系统已经进入测试阶段，超过2000名车主正在使用这一技术。特斯拉还在继续开发，加入更多驾驶功能。
NHTSA对4月27日前后生产的Model Y评级 / NHTSA
不过，抛弃毫米波雷达的做法也引来了一些争议。美国国家公路交通安全管理局（NHTSA）表示，取消毫米波雷达的Model 3和Model Y将失去部分先进安全功能的标签。未来经过测试调研后，这些车型能否重新获得认证还是未知数。但可以肯定的是，特斯拉已经铁了心要在摄像头纯视觉方案这条路上走到底。