MiniCPM-o 2.6

MiniCPM-o 全模态系列

MiniCPM-o 2.6 是 8B 参数的全模态模型，基于 SigLIP-400M + Whisper-medium-300M + ChatTTS-200M + Qwen2.5-7B 架构，在视觉、语音和多模态实时流式处理上达到 GPT-4o-202405 水平。

核心特性

• 视觉+语音+文本 全模态理解与生成
• 多模态实时流式：支持实时语音对话
• TDM 机制：时间分割多路复用
• 性能匹配 GPT-4o-202405

模型下载

版本	HuggingFace	ModelScope
MiniCPM-o 2.6	下载	下载

快速开始

Python

import torch
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained(
    "openbmb/MiniCPM-o-2_6",
    trust_remote_code=True,
    attn_implementation="sdpa",
    torch_dtype=torch.bfloat16,
).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained("openbmb/MiniCPM-o-2_6", trust_remote_code=True)

微调

Bash

cd MiniCPM-V
MODEL="openbmb/MiniCPM-o-2_6"
LLM_TYPE="qwen"
sh finetune/finetune_lora.sh

相关资源

主题	入口
微调	MiniCPM-o 2.6 微调指南
代码仓库	OpenBMB/MiniCPM-o
官方模型文档	minicpm_o2dot6_en.md