MiniCPM-V 4.5
MiniCPM-V 4.5 于 2025 年 8 月 26 日发布,总参数量 8B,采用 3D-Resampler 和混合强化学习方法。
核心亮点
- 77.0 OpenCompass 平均分 — 视觉-语言能力评测结果:在 OpenCompass(综合 8 个主流评测集)上取得 77.0 平均分,参数量 8B。同表中的对照模型包括 GPT-4o-latest、Gemini-2.0 Pro 与 Qwen2.5-VL 72B,各项分数见评测表。
- 高效的高帧率与长视频理解:全新统一图像-视频 3D-Resampler 实现高达 96× 的视频 token 压缩(6 帧 448×448 仅需 64 token,而多数 MLLM 需 1,536),可在不增加 LLM 推理成本的前提下感知更多视频帧,在 Video-MME、LVBench、MLVU、MotionBench、FavorBench 上支持最高 10 FPS 的高帧率与长视频理解,各项得分见评测表。
- OCR、文档解析与可控推理:基于 LLaVA-UHD 处理任意宽高比、最高 180 万像素(如 1344×1344)的高清图像,视觉 token 数为多数 MLLM 的 1/4。OCRBench 得 89 分,同表对照 GPT-4o 得 82.2 分、Qwen2.5-VL-72B 得 88.2 分;OmniDocBench PDF 解析(EN/ZH,数值越低越好)为 0.175/0.253,同表对照 GPT-4o 为 0.233/0.399。支持可控的「快思/深思」双模式与 30+ 语言;基于 RLAIF-V / VisCPM,MMHal Score 为 5.0,MMHal Rate(越低越好)为 19.4,各项分数见评测表。
技术亮点
- 统一 3D-Resampler 实现高密度视频压缩:引入 3D-Resampler 架构,将多达 6 帧连续视频帧联合压缩至 64 个 token,实现 96× 视频 token 压缩率,在不增加 LLM 计算成本的前提下支持高帧率及长视频理解;同时统一编码图像、多图和视频,使能力与知识在三种输入形态间保持一致。
- 统一学习范式融合 OCR 与文档知识:通过动态损坏文档文本区域并要求模型重建,使模型自适应地在精确文本识别与多模态上下文推理之间切换,摆脱对易错文档解析器的依赖,避免 OCR 数据过度增强导致的幻觉,OCRBench 得 89 分,多模态知识任务的各项得分见评测表。
- 混合强化学习优化双模态推理:采用混合强化学习方法联合优化「快速思考」与「深度思考」两种可切换模式,两种模式的分数变化见评测表;结合 RLPR 与 RLAIF-V 从多模态数据中泛化推理能力,幻觉相关指标为 HallusionBench 61.2、MMHal Score 5.0、MMHal Rate 19.4(越低越好)。
模型表现
- 综合多模态
- STEM 推理
- 文档·OCR·图表
- 幻觉评测
- 多图·真实世界·指令遵循
- 视频理解
测评结果为官方报告,或基于官方权重的本地复现;OmniDocBench 为编辑距离,数值越低越好。