MiniCPM-Robot是什么
面壁智能近期开源了一款颇具实用价值的模型系列——MiniCPM-Robot，这是一套专为机器人场景设计的轻量级具身智能VLA模型。该系列包含两个核心模型：负责通用操作的1.5B参数MiniCPM-RobotManip，以及负责跟踪导航的0.9B参数MiniCPM-RobotTrack。此外，还配套提供了PhyAI推理框架，使整个系统运行更加流畅高效。
模型采用了视觉Token压缩与流式上下文记忆两项关键技术，效果显著：机械臂能够完成长程精细操作，机器狗可在室内外环境中实现目标跟踪。更重要的是，在弱网条件下它仍能实现端侧本地运行，推理延迟低至120ms，在主流评测中已跻身第一梯队水平。
MiniCPM-Robot的主要功能
- MiniCPM-RobotManip：主要负责控制机械臂完成长程操作任务，例如制作三明治这类需要多步骤的精细工作。它支持多摄像头输入，并具备上下文记忆能力，能够记住当前任务进度和历史动作，避免在执行过程中遗忘后续步骤。
- MiniCPM-RobotTrack：让机器狗根据自然语言指令持续跟踪指定目标。无论是单目标跟踪、多人干扰跟踪，还是模糊目标跟踪，它都能应对自如。而且，在弱网甚至无网环境下，它也能本地运行，不依赖外部连接。
MiniCPM-Robot的技术原理
那么，它是如何实现的呢？核心在于以下三项技术：
- 视觉Token压缩：简单来说，就是过滤掉与任务无关的冗余视觉信息，降低单次推理的计算量，避免模型在每帧画面上浪费算力。
- 流式上下文记忆：传统方法处理长任务时，计算量会随着画面数量急剧增加。而MiniCPM-Robot能够复用已经处理过的历史信息，新画面只需进行增量计算，大幅降低了计算负担。
- 自进化数据管线：模型会在仿真和真实环境中主动暴露自身薄弱环节，收集容易出错的场景，然后由专家进行纠偏和闭环训练。这相当于让模型自己发现短板并自我提升。
如何使用MiniCPM-Robot
上手流程并不复杂，大致分为以下几个步骤：
- 环境准备：先克隆GitHub仓库，安装好依赖。硬件方面，RobotManip需要机械臂，RobotTrack则需要宇树Go2 Edu机器狗。
- 模型加载：从Hugging Face下载对应模型权重，通过PhyAI框架加载，完成后会自动完成量化与算子优化。
- 摄像头接入：RobotManip需要配置腕部相机和主视角相机，RobotTrack直接用机器狗原装摄像头即可。
- 指令输入：输入自然语言指令，例如“跟着前面穿黑衣服的人”或“做三明治”，模型就能理解并执行。
- 一键启动：运行开源脚本，模型接收视觉和语言输入，输出机器人动作指令并执行，整个过程一气呵成。
MiniCPM-Robot的核心优势
该模型最大的亮点在于，用极小的参数规模实现了第一梯队性能。数据足以说明问题：
- 极小参数，性能不输：1.5B参数在LIBERO、Calvin、RoboTwin2等评测中，表现与π0.5这类更大模型不相上下。在RMBench上下文记忆评测中，得分约53分，远超π0.5的约10分。
- 推理延迟减半：在H100上，单帧决策延迟约120ms，几乎是π0.5（234ms）的一半。这对机器人控制来说意义重大。
- 纯端侧运行：机器狗本地算力即可稳定保持5Hz以上的跟踪频率，断网后依然能持续工作。对于工业场景而言，这是一个非常实用的特性。
MiniCPM-Robot的项目地址
- 项目官网：https://github.com/OpenBMB/MiniCPM-Robot
- HuggingFace模型库：
- https://huggingface.co/openbmb/MiniCPM-RobotManip
- https://huggingface.co/openbmb/MiniCPM-RobotTrack
MiniCPM-Robot的同类竞品对比
将其与同类模型π0.5进行对比，差距一目了然：
| 维度 | MiniCPM-RobotManip | π0.5 |
|---|---|---|
| 参数量 | 1.5B | 3B |
| 开源 | ✓ | ✓ |
| LIBERO | 97.5 | 96.9 |
| Calvin | 4.1 | 4.1 |
| RMBench | 53.5 | ~10 |
| 单帧延迟 | ~120ms | ~234ms |
| 上下文记忆 | 流式复用历史信息 | 主要基于单帧判断 |
| 端侧部署 | 支持本地运行 | 通常需云端算力 |
从数据来看，MiniCPM-RobotManip在参数更少、延迟更低的前提下，性能反而更强，尤其在上下文记忆这一关键维度上，优势非常明显。
MiniCPM-Robot的应用场景
该模型的应用场景非常广泛，理论上可覆盖大多数需要机器人长程操作的场景：
- 餐饮备餐：双臂机械臂按指令完成取面包、夹生菜火腿鸡蛋等长程三明治制作任务，自动化程度高，效率也高。
- 展厅导览：机器人在无网环境下，基于本地知识库完成离线讲解、自由问答与路线规划，无需联网即可提供智能服务。
- 园区巡检：机器狗识别车辆违停、路面异常与公共设施问题，敏感画面本地处理不上云，确保数据安全。
- 仓储物流：机器人执行货架取放、物料搬运等长程操作，失败时还能自动重试与恢复，降低人工干预成本。
- 室内外跟随：机器狗根据自然语言指令，在电梯、地下停车场等弱网环境中持续跟踪目标人物，对安保和物流场景非常实用。