深度学习正在把“算力”变成一种新的生产力——人的创造力通过机器得以放大，这是不言自明的趋势。但一个尴尬的现实摆在面前：训练一个神经网络可以花上几天，用海量数据和数学运算慢慢调教；可一旦要把这个训练好的网络部署到实际场景里，时限就变得异常严苛。数据中心要部署更新的服务器来承载AI处理功能，但空间和功耗的限制是两道硬门槛。另一边，用户压根不关心你背后有多复杂，他们要的是“瞬间响应”——极低时延是底线。 汽车驾驶辅助系统或自动驾驶那是另一个级别的挑战。生命攸关，不仅要求时延低到极致，更要确保可靠的实时响应。成本、重量、散热这些物理约束，每一环都卡得死死的。特斯拉在自动驾驶日上解释过为什么选择自建芯片：相对GPU，它能做到功耗小于100瓦、时延控制在单批处理级别——这种组合优势正是行业痛点。随着AI渗透到更多领域，已部署的神经网络面临越来越高的性能要求。 ## 历久弥新的高效推断 不管是在云端，还是在汽车这样的嵌入式场景里，满足新型应用需求的推断引擎都必须同时做到低时延、低功耗、小尺寸。把训练好的神经网络成功用来做实时推断，不仅要精细调整优化，还得挑一个能扛得住功耗、尺寸、散热限制的处理平台——这里面充满了工程权衡。随着AI商业部署铺开，终端用户胃口越来越大，处理器厂商都在猛攻高端器件架构。 最近的一些芯片面向自动驾驶等应用，采用了CPU + 应用处理器核 + 大量GPU的混合架构。但问题在于，架构是固定的，开发者的手脚被绑住——存储器接口宽度、数据解析度都没得选。8位整数数学通常是能用到的最小宽度，可深度学习算法完全可以在更低解析度下高效工作，有时甚至低到2位或1位。僵硬的CPU或GPU架构越来越难满足神经网络的性能需求，我们需要更灵活的方法，能动态调整解析度和核数量，以找到计算性能与功耗的最佳平衡点。 调整优化训练好的神经网络，并在目标处理器上高效实现，这事本身就够烦人了。更麻烦的是，新型高效神经网络层出不穷，迭代速度远超芯片。项目启动时用的还是最前沿的技术，等部署的时候可能已经过时。而真正最新的神经网络架构，在现有处理器上几乎不可能跑得好——这就像用去年的跑鞋去参加今年的百米决赛。 ## 可配置的AI加速 为了应对性能、功耗和面向未来的灵活性这三大挑战，不少开发团队开始转向FPGA——这玩意儿的最大优势就是灵活应变。FPGA可以配置成百上千甚至上万个高度并行的计算单元，支持单位级解析度，还能定制存储器接口来消除瓶颈。更关键的是，FPGA可以反复编程，这意味着开发者在芯片更新的间隙里也能灵活升级神经网络结构，跟上技术演变的速度。 2017年赛灵思收购了AI专业公司深鉴科技（DeePhi Tech），之后加大力度开发先进的调整优化工具和IP，让FPGA部署神经网络变得更加顺手。优化技术通过剔除几乎不影响精度的近零权重来精简网络，同时找到能最大程度减少计算操作、降低功耗的网络组织方式。经过深鉴技术优化后部署在FPGA上，权重可以减少多达90%，同时保持可接受的图形识别精度。性能提升最高达10倍，能效也随之大幅提升。 ## 从云端到边缘 自动驾驶是个很能说明问题的例子——低时延、小尺寸、轻重量、低功耗，每个要求都只能用“紧迫”来形容。雷达或摄像头检测到目标（车辆、骑行者、行人等），必须在瞬间做出识别。人类对视觉输入的反应时间大约是四分之一秒，自动驾驶系统的视觉识别至少也得达到这个水平，甚至要更快。要达到人类驾驶员的水平，从检测到识别再到响应，整个系统必须在1.5秒内做出紧急制动决定。 赛灵思近期宣布与奔驰开展研发合作，用高性能FPGA来实现深度学习处理器，分析来自摄像头、雷达和激光雷达的数据，支持驾驶员监控、车辆导引和防撞。双方专家在高度自适应的汽车平台上共同实施AI算法，并为奔驰的神经网络优化深度学习处理器技术。这套方案能把时延压到极低，同时保持很高的功率效率，确保系统在汽车有限的散热条件下稳定工作。 数据中心这边，FPGA同样能撑起深度学习翻跟斗，其单位功耗性能远超标准GPU。韩国SK电讯将Kintex UltraScale FPGA用作数据中心的AI翻跟斗，成功提升了语音助理NUGU的性能。这是韩国电信行业首次部署AI，相比传统GPU，自动语音识别（ASR）应用速度提升高达500%，单位功耗性能提升16倍。此外，原本只用了CPU的服务器在加上翻跟斗后，处理多个语音通道时能显著降低总体拥有成本（TCO）。 再看新一代AI家庭安全功能。作为Tend Insights云平台的一部分，FPGA加速的低时延推断支持更智能的监控和居家护理等创新服务。家里各个角落的摄像头能识别基本事件，并把画面上传到云端基于FPGA的AI翻跟斗上处理。这些翻跟斗通过赛灵思机器学习套件（ML Suite）硬件编译器提供的一系列API进行访问，能区分家庭成员、陌生人、宠物和其他动物，判断是否存在威胁并发出警报。如果业主同意，室内摄像头画面还能分析家庭成员是否遇到困难——比如老人摔倒需要帮助。系统随后会主动呼救，拨打指定家人电话或联系专业护理机构。 除此之外，AI还在许多别的场景中扮演“快速模式匹配+图像识别”的角色。比如基因组分析，加速医疗诊断和治疗。用FPGA加速AI推断，把病人基因组测序和异常识别的时间从24小时缩短到大约20-30分钟。再比如原子研究领域，核聚变实验画面分辨率极高，单帧可达1亿像素，必须在25毫秒内处理完成。这种挑战必须引入低时延神经网络探测器，传统CPU推断根本做不到——事实上差距非常大。而FPGA已经在帮科学家拿到他们想要的结果了。 ## 结论 AI最近才成为真正可行的解决方案，但在人们的日常工作和生活中已经开始发挥重要作用。降低运营成本、缩短客户等待时间、创造新的增值服务——这些潜力让商业机构兴奋，同时也带来了更大的性能压力：必须把时延、功耗和成本压得更低。 构建AI有两个核心环节：一是训练某种类型的神经网络，让它尽可能符合任务要求；二是对训练好的网络进行调整优化，作为推断引擎在合适的处理器上实施。FPGA架构的灵活性和高性能，加上高性能的实现优化工具（如ML Suite硬件编译器和Deephi优化器），再加上无需等待芯片更新就能部署最新神经网络架构的可重配置能力——这三者加在一起，正是在云端、网络或边缘实现AI推断加速的关键所在。