MiniCPM-RobotTrack

MiniCPM-Robot 具身智能系列

MiniCPM-RobotTrack 提供从 Habitat rollout 到训练数据、视觉特征缓存和微调启动的公开流程，支持 STT、DT、AT 三类目标跟踪任务。

原始轨迹

每条 Habitat rollout 应保留视频、逐步仿真状态和 episode 结果。逐步记录可包含机器人速度、碰撞状态、目标距离与目标图像位置等字段。

生成训练轨迹

Bash

cd MiniCPM-RobotTrack
python tools/make_tracking_data.py \
  --input_root sim_data/raw_sample \
  --output_root sim_data/train/stt \
  --only_success \
  --history 31 \
  --horizon 8 \
  --dt 0.1 \
  --incremental

完整训练时，将 STT、DT、AT 原始 rollout 分别放在 sim_data/raw/<task>，并为每个任务运行相同的数据转换流程。

预缓存视觉特征

Bash

for task in stt dt at; do
  python tools/precompute_features.py \
    --json "sim_data/train/${task}/jsonl" \
    --data-root "sim_data/train/${task}" \
    --cache-root "sim_data/train/${task}/vision_cache"
done

处理后的数据目录包含 frames/、jsonl/ 和 vision_cache/。

启动微调

Bash

bash scripts/train.sh

数据路径、batch size、学习率和 epoch 数可在 scripts/train.sh 中调整。

数据质量建议

• 过滤异常轨迹、错误动作和无效交互。
• 保留任务划分、数据版本和转换参数，确保实验可追溯。
• 使用 DAgger 等方式补充目标交叉、快速转向、短时遮挡和多人交汇等长尾失败样本。
• 训练与评测数据应严格隔离，避免场景泄漏。

HM3D、MP3D、视觉基础模型与其他第三方资源具有各自许可证。训练前请确认数据、模型和仿真资源的使用范围。

相关资源

主题	入口
官方训练代码	官方训练代码
示例数据	示例数据