游乐游手机版
首页/AI热点日报/热点详情

商汤绝影行业首发车端原生多模态大模型 80亿参数 每秒40Tokens

类型:热点整理2026-07-18
商汤绝影率先实现原生多模态大模型车端部署,80亿参数模型首包延迟低于300毫秒,推理速度达每秒40Tokens,覆盖主流算力平台。自研HyperPPL引擎兼容多种芯片与操作系统,并针对车内多人并发场景优化,确保推理效率稳定。

车载大模型竞赛再度提速,行业迎来重要突破。商汤科技联合创始人、首席科学家王晓刚于17日透露,商汤绝影已率先实现原生多模态大模型的车端部署。具体而言,车载端侧8B模型(80亿参数)的首包延迟被控制在300毫秒以内,推理速度达到每秒40 Tokens,并且全面覆盖主流算力平台。

商汤绝影行业首发原生多模态大模型车端部署:80 亿参数、每秒 40 Tokens

为支撑这一落地,商汤绝影专门打造了名为“HyperPPL”的计算引擎。该引擎的兼容性表现尤为出色——不仅扩展支持了主流车载计算硬件,还能适配多种操作系统及多款车载芯片的部署平台。换句话说,无论车企选用哪家芯片、哪套系统,HyperPPL基本都能实现无缝对接。

值得关注的是,车内的使用场景往往并非单人操作。商汤绝影在HyperPPL中针对多人并发场景进行了专项优化。这意味着,当车内多人同时调用大模型能力时,车端多模态大模型的推理效率并不会比单人使用时出现明显下降——这才是真正贴近实际需求的体验优化。

回顾此前进展,商汤绝影已经在深圳首条自动驾驶公交线路中完成了车辆与技术的落地,全程无需人员介入驾驶操作。此次车端大模型的部署,可以看作是从“能开”向“能聊、能理解”的又一次能力跃迁。

明年将是一个关键节点——具备上千TOPS算力的车载芯片(英伟达Thor)即将登场。基于更高算力的计算平台,商汤预计绝影多模态大模型的车端部署方案将实现首包延迟大幅降低,推理速度进一步提升。届时,车端大模型的能力天花板将被重新定义。

来源:https://www.1ai.net/15966.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。