MiniCPM-RobotTrack
MiniCPM-Robot 具身智能系列
MiniCPM-RobotTrack 是一个 0.9B 端侧视觉-语言-动作模型，面向具身目标跟踪。模型覆盖静态、动态和对抗目标，并提供 Unitree Go2 EDU 真机部署流程。
模型下载
| 平台 | 地址 |
|---|---|
| Hugging Face | openbmb/MiniCPM-RobotTrack |
| GitHub | MiniCPM-RobotTrack 源码 |
核心能力
- 多类型目标跟踪：覆盖静态、动态和对抗场景中的目标跟踪。
- 端侧运行：在 Unitree Go2 EDU 原生板载算力上实现 5+ FPS，端到端延迟约 180 ms。
- 自然语言交互：使用视觉输入和自然语言目标描述完成跟踪，无需单独拼接感知、规划与控制模型。
- 持续数据改进：结合自动质检、人工复核和 DAgger 迭代提升长尾场景表现。
支持场景
| 场景 | 说明 |
|---|---|
| STT | 静态目标跟踪 |
| DT | 动态目标跟踪 |
| AT | 对抗目标跟踪 |
安全提示：真机部署首次运行必须保持 dry-run，在支架上验证相机、模型、延迟、限速和急停链路后，再按照官方文档启用真实运动控制。
快速上手
本指南用于创建 MiniCPM-RobotTrack 仿真环境并准备基础数据。官方仿真环境测试版本为 Python 3.9、Habitat-Sim 0.3.1、Bullet、PyTorch 2.4.1 和 CUDA 12.1。
获取代码
Bash
git clone https://github.com/OpenBMB/MiniCPM-Robot.git
cd MiniCPM-Robot/MiniCPM-RobotTrack
创建环境
Bash
conda env create -f environment.yml
conda activate MiniCPM-RobotTrack
准备仿真资源
按照 Habitat-Sim 和 TrackVLA 的资源说明下载 HM3D、MP3D、humanoid 与 robot 资源，并保持原有目录结构。
Plain Text
data/
├── datasets/
├── scene_datasets/
├── humanoids/
└── robots/
准备模型
从 Hugging Face 下载完整模型快照。评测还需要 DINOv3 ViT-S/16 和 SigLIP So400m 视觉模型。