跳到主要内容

MiniCPM-V 4

MiniCPM-V 多模态系列

MiniCPM-V 4 是 4.1B 参数的多模态模型,基于 SigLIP2-400M + MiniCPM4-3B 架构。

核心特性​

  • OpenCompass 均分 69.0,超越 GPT-4.1-mini 和 MiniCPM-V 2.6 (8.1B)
  • 端侧高效:iPhone 16 Pro Max 上首 token 延迟 <2s,生成速度 >17 tokens/s
  • 超越同参数量的 Qwen2.5-VL-3B

模型下载​

版本HuggingFaceModelScope
MiniCPM-V 4.0下载下载

快速开始​

Python
import torch
from transformers import AutoModel, AutoTokenizer
from PIL import Image

model = AutoModel.from_pretrained(
"openbmb/MiniCPM-V-4",
trust_remote_code=True,
torch_dtype=torch.bfloat16
).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained("openbmb/MiniCPM-V-4", trust_remote_code=True)

image = Image.open("image.jpg").convert("RGB")
msgs = [{"role": "user", "content": [image, "描述图片内容。"]}]
answer = model.chat(msgs=msgs, tokenizer=tokenizer)
print(answer)

微调​

Bash
cd MiniCPM-V
MODEL="openbmb/MiniCPM-V-4"
LLM_TYPE="qwen"
sh finetune/finetune_lora.sh

相关资源​

主题入口
微调MiniCPM-V 4 微调指南
代码仓库OpenBMB/MiniCPM-V
官方模型文档minicpm_v4_en.md
端侧应用与下载MiniCPM-V-Apps 安装包