游乐游手机版
首页/AI热点日报/热点详情

AI PC端侧首现128K上下文窗口 推理性能提升2.2倍

类型:热点整理2026-07-13
面壁智能与英特尔联合发布MiniCPM4 0模型,首次在AIPC端侧实现128K长上下文窗口支持,通过软硬件稀疏化创新带来2 2倍推理效率提升。模型采用双频换挡机制适配长短文本场景,在英特尔酷睿Ultra处理器上首Token延迟降低38%,Token速率提升最高3 8倍。

AI PC端侧模型技术突破:128K超长上下文与2.2倍推理效率提升

面壁智能与英特尔联合宣布,正式发布并开源了「面壁小钢炮」端侧系列最新成果——MiniCPM 4.0 模型。这一重大突破实现了系统级软硬件稀疏化创新,首次在AI PC上支持128K超长上下文窗口,并带来高达2.2倍的端到端推理效率提升,开启了端侧AI的全新篇章。

核心突破一览

  • 面壁智能 × 英特尔:双方深度技术协同,发布MiniCPM 4.0模型,实现软硬件稀疏化创新突破。
  • 长、短文本高效切换:MiniCPM 4.0支持“双频换挡”机制,灵活适配不同场景需求。
  • 英特尔酷睿Ultra处理器:CPU、GPU、NPU三引擎全面适配,提供第零日(Day 0)即时支持。
  • 128K上下文窗口:首次在英特尔锐炫™ Pro B60上实现,首Token延迟降低38%,Token速率提升最多3.8倍。

技术详解:MiniCPM 4.0 模型的创新之处

1. 模型规模与“高效双频换挡”机制

MiniCPM 4.0系列LLM模型提供8B、0.5B两种参数规格。针对单一架构难以同时兼顾长、短文本不同应用场景的技术挑战,MiniCPM 4.0-8B采用了“高效双频换挡”机制:

  • 长文本/深度思考任务:启用稀疏注意力,降低计算复杂度,高效处理超长上下文。
  • 短文本场景:切换至稠密注意力,确保推理精度与响应速度。

该机制可根据任务特征自动切换注意力模式,实现对长、短文本的高效响应,用户无需手动干预。

2. 软硬件协同优化:英特尔加速套件与KV Cache增强

双方开展了深度技术协同,基于英特尔硬件架构定制投机解码配置。通过硬件感知的草稿模型优化策略,结合英特尔加速套件与KV Cache内存增强技术,最终实现端到端推理效率的2.2倍提升1

3. 英特尔酷睿Ultra处理器全面适配与Day 0支持

搭载CPU、GPU、NPU三大AI运算引擎的英特尔酷睿Ultra处理器已迅速适配MiniCPM 4.0系列模型,并借助OpenVINO™工具套件为模型提供优化的卓越性能表现。英特尔首次在NPU上对模型发布提供第零日(Day 0)支持,为不同参数量模型和应用场景提供更加多样化、更具针对性的平台支持。

来源:https://www.53ai.com/news/LargeLanguageModel/2025060879250.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。