MiniCPM-o 4.5

MiniCPM-o 4.5 采用端到端全模态架构，由 SigLip2、Whisper-medium、CosyVoice2 和 Qwen3-8B 构建，共 90 亿参数，支持全双工多模态流式交互。各项能力的评测数字见下方评测表。

核心亮点

• 77.6 综合评测平均分 OpenCompass — 视觉能力评测结果：与 GPT-4o、Gemini 2.0 Pro、Gemini 2.5 Flash 的逐项对照分数见评测表。
• 强大语音能力：支持中英文双语实时语音对话，可配置音色，并支持声音克隆与角色扮演。
• 全双工与主动交互：实现实时视频、音频输入与文本、语音输出的并行无阻塞处理，模型可主动发起交互。

技术亮点

• 端到端全模态架构：视觉、语音编码器/解码器与 LLM 通过隐藏状态稠密连接，实现更优的信息流动与控制，充分挖掘多模态知识。
• 全双工实时流式机制：将离线编码器/解码器改造为在线全双工模式，支持流式输入输出。 语音 token 解码器以交错方式生成文本和语音 token，实现全双工语音生成（如超过 1 分钟的稳定长语音）。 通过时分复用（TDM）机制在 LLM 主干中同步多模态流，以毫秒级时间片划分并行流为顺序信息组。
• 主动交互机制：LLM 以 1Hz 频率持续监控输入视频和音频流，自主决策是否发言，高决策频率结合全双工特性实现主动交互。

模型表现

• 视觉推理与感知：MiniCPM-o 4.5-Thinking 在视觉推理与感知评测中的各项得分如下表。
• 语音交互能力：语音交互能力覆盖中英文语音生成和长文本语音生成，MiniCPM-o 4.5-Instruct 在多项错误率指标上保持较低水平。
• 全双工实时流式交互：全双工实时流式交互评测覆盖日常实时交互、世界感知和视频推理能力。
• 文档解析：文档解析评测基于 OmniDocBench 中英文子集的整体编辑距离，数值越低表示解析质量越好。
• 语音生成能力：语音生成能力评测覆盖中文 ASR、英文 ASR 与英中语音翻译，反映语音识别与生成的综合表现。

* 数据来源于真实模型评测