游乐游手机版
首页/AI热点日报/热点详情

小米AI极速模型发布文本生成速度突破每秒千token

类型:热点整理2026-06-09
小米联合TileRT发布MiMo-V2 5-Pro-UltraSpeed版本,在标准GPU节点上实现文本生成速度突破1000tokens s的里程碑。该突破依托FP4量化、区块并行解码及TileRT推理系统三大核心技术,无需专用芯片。同步推出的限时API服务性价比显著,并设有面向企业和开发者的试用

对AI开发者来说,模型推理速度长期制约着应用落地与用户体验。近期,一项重大技术突破将文本生成速度推至全新水平,这会给AI应用生态带来怎样的直接变化?

小米发布AI模型极速版,文本生成速度突破每秒1000个token

小米联合TileRT重磅发布了MiMo-V2.5-Pro-UltraSpeed版本,实现了行业里程碑式突破。该版本基于万亿参数级大模型,在单台标准8卡通用GPU节点上,首次将文本生成速度提升至1000 tokens/s,峰值甚至可达1200 tokens/s。尤为关键的是,这一速度飞跃全程无需专用定制芯片,有望极大降低极速AI推理的部署门槛。

限时API服务及试用说明

为加速技术落地,该版本同步推出了限时API服务。其价格是原版MiMo-V2.5-Pro的3倍,但生成速度提高约10倍,性价比十分突出。由于高速推理资源有限,服务采取申请制,限时开放,试用周期为北京时间6月9日至6月23日23:59。平台将优先审批有实际业务需求的企业与专业开发者。

普通用户则可通过专属页面免费体验对话功能,但设有资源公平使用机制:每个账号每日最多排队10次,单次对话最长30分钟,若空闲超过5分钟将自动断开连接。

性能飞跃背后的三大核心技术

此次性能提升并非依赖单一优化手段,而是得益于模型与系统的深度协同设计,其核心在于三大技术创新。

首先是FP4量化技术。该技术针对模型的混合专家(MoE)架构特点,仅对占参数绝大多数的专家层进行无损FP4量化,其余模块保留原始精度。此举在有效降低内存占用、缓解带宽压力的同时,确保模型综合能力几乎不受影响。

其次是DFlash区块并行推测解码技术。它摒弃了传统的串行解码方式,单次能预测一整段文本区块。在代码生成、数理推理等特定场景下,平均每轮可确认6-7个token,从而大幅提升了解码效率。

最后是借助TileRT推理系统对GPU执行架构进行了重构。该系统采用了持久化内核与异构流水线设计,消除了算子切换造成的延迟,使硬件算力持续满负荷运行,最大化发挥硬件性能。

极速推理将如何重塑应用场景

极速推理能力的重大突破,正在重新定义AI的应用边界。超高推理速度使模型能够进行并行推理与自我纠错,从而提高逻辑推理的质量与可靠性。在编程领域,它大幅减少了代码生成时的等待与卡顿,有望释放编程智能体的潜能。

更为关键的是,这使得万亿参数大模型能够应用于实时性要求极高的场景,比如高频量化交易、实时反欺诈风控、医疗影像实时分析等需要毫秒级响应的关键决策领域,为AI深入产业核心环节开辟了全新可能。

来源:驱动之家

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。