MiniCPM-RobotManip
MiniCPM-Robot 具身智能系列
MiniCPM-RobotManip 是一个 1.5B 通用视觉-语言-动作模型，面向机器人操作任务。它以一套权重覆盖多个下游任务，并通过流式推理保留历史视觉上下文。
模型下载
| 平台 | 地址 |
|---|---|
| Hugging Face | openbmb/MiniCPM-RobotManip |
| GitHub | MiniCPM-RobotManip 源码 |
核心能力
- 通用操作：一套 1.5B 权重覆盖多种下游机器人操作任务。
- 流式上下文：将历史观测持续纳入上下文，最高支持约 1 分钟视觉记忆。
- 高效视觉编码：继承 MiniCPM-V 4.6 的视觉 Token 压缩，每帧由 256 个视觉 Token 压缩至 64 个。
- 多视角推理：支持通过多个图像输入提供前视、腕部等不同相机视角。
输入与输出
| 项目 | 说明 |
|---|---|
| 输入 | 一张或多张图像、自然语言指令、可选机器人状态与 embodiment ID |
| 输出 | 动作块，官方单样本脚本默认输出形状为 (30, 80) |
快速上手
跟随本教程可以完成 MiniCPM-RobotManip 的环境安装与单样本推理。 官 方测试环境为 Python 3.10、PyTorch 2.6.0 和 CUDA 12.4。
获取代码
Bash
git clone https://github.com/OpenBMB/MiniCPM-Robot.git
cd MiniCPM-Robot/MiniCPM-RobotManip
创建环境
Bash
conda env create -f environment.yml
conda activate MiniCPM-RobotManip
准备模型权重
从 Hugging Face 下载完整模型快照，并将路径作为推理命令的 --checkpoint 参数。
单视角推理
Bash
python vla_infer.py \
--image frame.jpg \
--text "Pick up the red block." \
--checkpoint ./checkpoint \
--state-file state.npy \
--embodiment-id 0 \
--output action.npy
机器人状态可以省略，省略时脚本默认使用零状态；不传 --output 时，动作预测将以 JSON 输出。
多视角推理
Bash
python vla_infer.py \
--image cam_front.jpg \
--image cam_wrist.jpg \
--text "Pick up the red block." \
--checkpoint ./checkpoint
输出说明
官方单样本推理脚本返回一个动作块，默认形状为 (30, 80)。接入具体机器人前，需要根据 embodiment、状态维度和控制接口完成动作映射与安全约束。