MiniCPM-OCR
在 2B 以下模型中实现真实场景文档解析与通用 OCR 双项 SOTA,覆盖扫描、拍照、弯曲、倾斜、翻拍等复杂场景,并将可靠性校验融入 OCR 链路,让解析不止于「看起来对」。
核心亮点
- 解析 + 决策 — 双模型,定义可信 OCR:MiniCPM-OCR 1.0 负责高效解析,MiniCPM-OCR Jev 负责结果判别,让「解析 → 校验 → 路由」成为开箱即用的完整链路。
- 能力与效率双 SOTA:MiniCPM-OCR 1.0 以 1.3B 参数在 Real5-OmniDocBench、OCRBench v2 分别取得 93.68、54.7 的 SOTA 成绩;搭载 DSpark 投机采样加速,在同等测试条件下,端到端处理效率提升 55%,吞吐量达到 PaddleOCR-VL-1.6 的 1.49 倍、MinerU2.5 Pro 的 3.62 倍。
- 从部署到应用,一步到位:Day 0 适配 vLLM、SGLang、llama.cpp 和 Ollama 等主流推理框架,支持多芯片与多种量化版本。我们还提供了 pip SDK、功能完备的 API 和成熟的 skill.md,并支持二次微调,方便应用集成与定制开发。
技术亮点
- LLaVA-UHD v4 分片视觉编码:MiniCPM-OCR 1.0 基于 LLaVA-UHD v4 的高效视觉分片方案:高清图按 448×448 切片,配合低分辨率概览图,超大图像块编码依然高效,注意力开销随分片数线性增长;同时在 ViT 视觉编码器内部提前压缩视觉 token,减少后续编码层的计算开销。
- 自适应 Upsize 与自动 Upright:自动 Upright 对输入图像朝向进行自动判断与纠正,旋转、倒置文档无需人工预处理;自适应 Upsize 通过自适应上采样提升模型对密集文字、细小数字等细节的解析能力,二者共同保证复杂采集条件下的稳定性。
- DSpark 投机采样:基于自研 DSpark 投机采样解码加速,MiniCPM-OCR 1.0 在解析质量不掉的前提下,端到端处理效率提升 55%,实现 1.2 页/秒的高吞吐,显著降低大规模文档解析的时间开销。
- Jev:校准概率 + System-1 快判断:MiniCPM-OCR Jev 不解析文本,只对解析结果进行正误判断并直接返回正确概率;模型基于真实人工标注的块级解析正确性标签训练。作为 System-1 快判断层,它只需单次前向 prefill 计算、无需自回归,延迟极低,可作为高频门禁节点,在昂贵的人工复核前拦截大部分简单情况。
模型表现
- 文档解析能力:MiniCPM-OCR 1.0 在多种真实拍摄场景(Real5-OmniDocBench 93.68、Wild-OmniDocBench 92.39)、OmniDocBench v1.6(96.51)、olmOCR-Bench(82.7)上综合领先,并在 OCRBench v2 上以 54.7 取得 SOTA。
- 推理效率:基于 DSpark 投机采样加速,MiniCPM-OCR 端到端处理效率提升 55%,实测吞吐 1.217 页/秒,达到 PaddleOCR-VL-1.6 的 1.49 倍、MinerU2.5 Pro 的 3.62 倍。
- 解析结果决策:MiniCPM-OCR Jev 支持文本、公式和表格解析结果的质量判别,JevOCRBench 整体达到 93.6,接近 Qwen3.5-397B-A17B 的 93.8,超过 JEV-35B-A3B 的 90.1,帮助开发者评估解析质量、筛选需要重点复核的结果。