软硬协同，深度优化，灵活部署

汽车行业正在经历一场“智能化”的深刻变革。随着硬件平台和软件算法的逐步成熟，L2级辅助驾驶功能已经成为新车吸引消费者的重要配置；而在“软件定义汽车”的新时代，自动驾驶更是直接关系到车企未来的战略走向。市场参与者众多——传统车企、造车新势力、互联网/科技公司……随着入场者的增加，高阶自动驾驶的竞争已经进入白热化阶段。智能汽车的车载传感器越来越多，神经网络模型的算法复杂度越来越高，功能也越来越丰富，随之而来的开发挑战也前所未有。

开发工具链的效率，直接决定了整个智驾系统的开发效率。对于一家提供全栈式自动驾驶能力的智能驾驶计算芯片公司来说，能否为客户提供易操作、广适配、高效率的工具链产品，帮助客户建立从开发到量产的软硬件全解耦软件工具体系，是决定成败的关键。黑芝麻智能深知软硬协同的重要性，为此推出了“山海开发工具链”平台，旨在帮助客户基于华山系列芯片更高效地进行产品开发，降低开发门槛和综合成本，加速量产落地。

整体来看，山海开发工具链配合华山系列自动驾驶计算芯片，能够提供全面的开发包及算法开发所需的软件工具，满足模型量化、优化、编译、仿真、部署、调试等各个环节的需求。同时还纳入深度学习参考模型库转换用例，大幅降低算法开发门槛，帮助客户灵活进行模型迁移、部署和整合。

黑芝麻智能山海开发工具链

该平台支持Tensorflow、Pytorch等主流训练框架和模型格式，支持动态异构多核任务分配，并通过基于ONNX面向Caffe训练的深度学习模型自动转换方法进行扩展。它提供适配芯片架构的AI编译器的自动优化，并支持客户自定义算子开发。整个流程能够助力客户快速移植模型、优化部署落地，提升自动驾驶开发者业务模型的开发与部署效率。目前，山海开发工具链平台拥有50+ AI参考模型库及转换用例，涵盖了车道线检测、目标检测等模型结构，这些模型在华山系列芯片上能更好地发挥性能并快速部署落地。

量产级算法典型实践

黑芝麻智能剪枝算法，提高模型效率

神经网络在训练完毕后，绝大多数权重是非零的。如果网络中某些部分的权重为零，我们称之为稀疏。剪枝就是人为地将部分非零的权重归零的过程。稀疏的网络可以被压缩，省去不必要的计算，让网络变得更小、运算更高效。在计算机视觉领域，稀疏网络的优势非常明显：更少的卷积计算、更小的网络权重、更低的数据读写成本。

针对华山系列芯片的硬件特性，黑芝麻智能开发了一套自研的剪枝工具BST-DAL，支持在任何预训练模型上进行剪枝，显著提高模型在华山系列芯片上的运行速度。用户只需修改几行代码、提供一些基本的剪枝超参数，就能在自己的原始训练环境中完成剪枝。相比众多开源项目，这套自研工具拥有更快的收敛速度、更高的精度、更适应芯片特性的剪枝算法、更简便的API以及更友好的用户体验。在保证精度的前提下，剪枝算法能大幅提高芯片上的运行帧率。

黑芝麻智能量化算法，提升计算效率和性能

量化技术将神经网络模型的参数（权重和激活值）映射到较低的精度表示，从而降低计算和存储成本，提高模型在硬件上的推理效率。在不显著影响模型性能的前提下，它能减小计算和内存需求，具体可通过后训练量化或量化感知训练来实现。

现在市面上的不同车型搭载不同硬件平台，各有不同的计算和存储特性，部分硬件平台还有特殊的定制要求或功能限制。很多通用的量化算法无法最大程度地利用硬件优势，满足这些定制化需求。

黑芝麻智能针对特定硬件的约束和特性开发了自研量化算法，以最大限度地提高计算效率和性能。同时，根据硬件的位宽等特性，设计出更合适的量化策略，灵活控制量化精度，平衡性能和资源消耗，确保在硬件资源受限的情况下仍能保持模型性能，满足定制化需求，让量化后的模型在特定硬件上良好运行。

黑芝麻智能量化算法

华山二号A1000硬件特性

• 权重按通道量化，部分激活可按通道量化
• 支持混合精度，利用多引擎特性提升算子位宽和精度
• 硬件支持对称量化和2的幂次方的量化
• 支持RGB/BGR/NV12/YUV444/GRAY等输入的模型量化

离线量化算法（Post-Training Quantization）

• 可进行逐层调优，包括最小-最大值、KL散度、百分位点等多种方式
• 支持权重均衡，提升量化效果
• 自研算法优化了int16 Conv的计算逻辑，保持精度的同时提高效率
• 精细调优：支持逐层的自动化精度调优，搜寻量化模型的最优解
• 支持通过导入带有量化参数的JSON文件进行自定义量化
• 提供量化后模型的评估阶段，并配备可视化工具帮助分析和理解量化效果

量化感知训练（Quant-Aware Training）

• 支持量化感知训练，且量化感知训练与硬件对齐，进一步优化量化效果

目前，黑芝麻智能山海开发工具链已在60余家车厂及Tier 1生态用户中得到广泛应用，助力合作伙伴提升开发效率，为客户提供轻松快速开发和部署算法的指导，以及全面的工具链SDK和应用程序，帮助客户轻松部署优化模型。

赋能客户 智驾未来

“国外芯片厂商普遍存在底层开放度不足或迭代较慢的问题，比如面对新的算法需求，底层计算能力的拓展需要依赖国外团队支持，响应速度较慢。对底层bug的修复流程也比较冗长，面对客户对时间和质量的高要求，软硬一体迭代效率不尽如人意。”百度智能驾驶事业群组ASD硬件平台部总经理赵姝岩在谈到与国外芯片企业合作时表示，“而跟黑芝麻智能合作，在提供芯片的同时，为了更好调用芯片能力，还为我们提供了开放的山海开发工具链，极大缩短了域控平台开发时间，为客户项目按时交付赢得宝贵时间。自主+自主开放的合作模式，一定会赢取更多客户。”

在黑芝麻智能主办的“2023智能汽车芯片高峰论坛”上，亿咖通科技高级副总裁张容波提到：“吉咖智能自主研发了行泊一体式智能驾驶平台，集成两块黑芝麻智能华山二号A1000芯片，具备最高超100TOPS的算力。平台最高可支持30个以上传感器接入；通过不同数量的传感器和算力单元的组合，可实现不同成本需求下的驾驶辅助能力组合；具备影子模式和OTA能力，配合自动驾驶云，实现用户驾驶习惯学习、自动驾驶能力持续进化。”正是华山系列芯片与山海工具链的软硬协同，为吉咖智能提供了具备行业竞争力的智能驾驶方案。搭载该方案的吉利领克08车型于8月8日开启预售后，不到3天订单就突破1万台。

基于黑芝麻智能华山系列芯片——亿咖通智能驾驶解决方案

边缘计算场景离不开算法的支持。华山SOM作为华山二号A1000芯片的衍生产品，天然支持山海开发工具链平台。得益于不断优化的AI工具链，华山SOM上已成功移植目标检测、点云、语义分割、双目、人体姿态、人脸识别等多类算法模型，实现了ADAS、BSD、DMS、环视等车载应用。对于新领域新算法需要的新算子，黑芝麻智能可进行定制化开发，并提供第三方算法移植的技术支持。“基于华山系列芯片与山海工具链，圆周率科技能够为客户定制基于特殊应用场景的产品，快速覆盖汽车、机器人及其他边缘计算应用，为公司抢占新产品市场助力提效。我们基于华山SOM设计了商用车产品，45天左右就实现了样件阶段的全部功能，中间还包含春节放假的时间。这当然离不开团队和客户的大力支持，但同时也证明产品本身的成熟度已经完全可以满足市场需求。”圆周率科技COO朱华伟对此表示。

黑芝麻智能致力于通过碘伏式的技术创新，为客户提供最优的产品。随着“芯片+开发工具链”产品矩阵的逐步拓展和完善，黑芝麻智能将持续为行业带来创新、高效、安全和可落地的方案。在汽车产业智能化的时代浪潮中，黑芝麻智能期待携手更多产业链伙伴，共同用创新描绘汽车产业的新面貌。