腾讯云x荣耀联合打造高效AI底座，性能飙升2倍
去年12月，腾讯云公开了一个秘密。评论区里有人留言分享道：
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
时间过去了小半年，我们一直在思考和实践，如何让荣耀推理平台的性能和效率更高、推理速度更快——
基于腾讯云TencentOS Server AI底座，我们为荣耀部署大模型提供了TACO-LLM加速模块，显著提升了推理效率和系统稳定性。
具体来说，我们主要做了两件事：
第一，提升推理平台的整体性能和稳定性。
荣耀的AI功能日益丰富，后台往往需要同时运行多个任务，大模型调用频繁、并发量高，这对AI底座的要求也越来越苛刻。
TACO-LLM加速模块采用了“投机采样”技术，简单来说，就是让大模型先“大胆预测一波，再快速修正”，跳过了“一个字一个字计算推理”的低效流程，大幅提升了推理速度，同时也更充分地利用了GPU算力。
看看实际效果——
在DeepSeek-R1 满血版场景下，相对于荣耀原始线上业务性能，TTFT（首Token延迟）P95的响应时间最高降低6.25倍，吞吐提升2倍，端到端延迟降低 100%。在社区最新版本 sglang 场景下，TTFT P95 的响应时间最高降低 12.5 倍。模型运行更平稳，系统调度更顺畅。
第二，优化意图识别场景的响应速度。
这类交互功能，对“即时反馈”的要求特别高。
TACO-LLM加速模块针对这类高频调用场景进行了定向优化，在高性能GPU平台上，最大限度压缩了推理耗时。
在荣耀，TACO-LLM 让DeepSeek的推理速度：在 A 平台上提升 70%，在 B 平台上提升 20%。
热门专题
热门推荐
V社联合创始人G胖调整角色：从主导开发转向赋能团队，释放创意生产力 近期一则消息引发游戏行业广泛关注：Valve联合创始人加布·纽维尔（“G胖”）在公司内部进行了一次重要角色转型。此次调整的关键原因，与他个人在公司中的特殊影响力息息相关。根据透露，这位创始人决定减少在具体游戏开发工作中的直接深度参与
红魔姜超透露：全新游戏平板将于四月或五月发布，承诺带来惊艳体验 游戏硬件领域即将迎来重磅更新。努比亚红魔游戏手机的产品线负责人姜超，近日通过社交媒体进行了一次颇具悬念的“前瞻剧透”，成功引发了广大游戏玩家和科技爱好者的高度关注。他明确指出，红魔全新一代游戏平板的发布日期已锁定在四月或五月，并使用了“
金铲铲之战S17天煞羁绊：效果解析与实战应用 在《金铲铲之战》S17赛季中，【天煞】是一个定位独特的专属羁绊，仅由5费英雄“劫”所携带。激活这一羁绊需要特定的前置条件——玩家必须在强化符文选择阶段获得【入侵者劫】。一旦成功解锁，劫将获得全新的技能机制，从而在战局中发挥出颠覆性的作用。 金铲铲之战S1
索尼调整第一方工作室阵容，王牌重制团队蓝点工作室正式“退出”核心名单 近日，索尼在其PlayStation Studios官方网站的更新中做出了一项关键调整，引发了游戏玩家和行业观察者的广泛关注：曾凭借《恶魔之魂：重制版》等作品赢得盛誉的蓝点工作室，已不再出现在索尼核心第一方工作室的名单之中。此次页
未来人类X98W移动工作站正式发布：重新定义移动端专业性能的新标杆 在专业移动计算领域，总有一些产品能够打破常规认知。近日，未来人类（TerransForce）正式在其官网上线了全新的X98W高性能移动工作站，并宣布将于本月内全面发售。这款设备的问世，无疑为那些在移动办公环境中仍需要桌面级别强悍性能