MiniCPM-o 4.5
MiniCPM-o 全模态系列
MiniCPM-o 4.5 是 MiniCPM-o 系列目前能力最强的全模态模型，以端到端方式基于 SigLIP2、Whisper-medium、CosyVoice2 与 Qwen3-8B 构建，总参数量 9B。模态编解码器与 LLM 通过隐状态紧密连接，因此信息流动与控制更顺畅，训练时也能充分利用多模态知识。
它最具代表性的能力是全双工多模态实时流：实时视频与音频输入流、文本与语音输出流可以同时进行而互不阻塞，使模型能在一次对话里同时看、听、说，并在持续理解场景的基础上做主动交互（例如主动提醒或评论）。视觉侧在 OpenCompass 八项基准上取得 77.6 的平均分，以 9B 参数超过 GPT-4o 与 Gemini 2.0 Pro、接近 Gemini 2.5 Flash，并在同一份模型中支持 instruct 与 thinking 两种模式；语音侧支持中英双语实时语音对话与可配置音色，仅凭一段参考音频即可完成声音克隆与角色扮演，克隆效果优于 CosyVoice2；OCR 侧可处理最高 180 万像素、任意宽高比的图像与最高 10fps 的视频 ，在 OmniDocBench 的端到端英文文档解析上达到 SOTA。
主要特性
- 端到端全模态 —— 视觉编码器 + 语音编码器 + LLM + TTS 通过隐状态紧耦合
- 全双工实时流媒体 —— 同时听、看、说
- 语音克隆 与可配置的助手声线
- HuggingFace：
openbmb/MiniCPM-o-4_5· 魔搭：OpenBMB/MiniCPM-o-4_5
实时全双工 web demo 请参考 MiniCPM-o-Demo 仓库 —— 一套基于 PyTorch + CUDA 的开箱即用 demo，含前后端代码。