刷新 OCR 能力效率双 SOTA!首个文档「AI 质检员」上线:面壁智能开源 MiniCPM-OCR 系列模型

10月28日,面壁智能联合 OpenBMB 正式发布并开源面向高效文档解析和文字识别的 MiniCPM-OCR 系列模型,本次发布包含两个模型:MiniCPM-OCR 1.0(1.3B)与 MiniCPM-OCR Jev。

作为 MiniCPM 家族的首个 OCR 专用模型,MiniCPM-OCR 1.0 仅以 1.3B 的端侧轻量化体量,以SOTA能力和超高效率 刷新开源 OCR 模型的效率-性能帕累托前沿,在真实场景文档解析评测 Real5-OmniDocBench 上取得 93.68 的 SOTA 成绩;配合 DSpark 解码加速,端到端处理效率提升 55%,在更低的单页推理时延下实现了更高的解析精度。

开源OCR模型效率与效果的综合对比:横轴为吞吐量,纵轴为四项基准平均分,MiniCPM-OCR 双维领先

针对「解析完成后仍需人工逐页核验」这一长期行业痛点,MiniCPM 同步推出 业内首个 OCR 解析结果决策模型——MiniCPM-OCR Jev。该模型作为质检决策性质的「System-1」模型,具备跨模型的通用适配能力,能够自动判别文本、公式与表格的解析质量,整体 AUROC 达到 0.936,大幅减轻人工复核负担。

本文含视频,请前往微信公众号原文观看。

真实条件不设限:扫描、弯曲、翻拍,都能精准解析

现实世界里的文档大多不是平整规范的高清扫描件——手机随手拍下的发票、装订线处自然翘起的厚重合同、带有大段复杂公式的学术论文、带有屏幕反光与波纹的翻拍图片......

解析速度慢、复杂排版容易错、人工复核成本高,成为了卡在文档数字化落地道路上的「三座大山」。

我们的路线十分明确:在极致的轻量化模型容量内,让模型学会在复杂的物理采集条件与版面结构中建立鲁棒的视觉表征——MiniCPM-OCR 1.0 (1.3B) 专为复杂多变的真实场景而生:

告别繁琐预处理,随手拍也能准确解析:在专门考察真实场景(涵盖扫描、拍照、弯曲、倾斜及翻拍)的 Real5-OmniDocBench 评测中,MiniCPM-OCR 1.0 取得 93.68 的 SOTA 成绩。模型无需繁琐的前置图像矫正,即可稳定还原版面结构与文字内容,文档数字化的门槛大幅降低。

复杂版面不崩溃,中英双语结构化精准还原:在 OmniDocBench v1.6、Wild-OmniDocBench、olmOCR-Bench 以及专门测试极端混乱排版的 CHAOS-Bench 等评测中,模型均展现出领先的解析水准。这意味着面对科研论文、工程报告、跨语言业务材料中密集的中英文混排内容、复杂数学公式以及多层跨行/无边框表格等,模型都能实现结构分明的高质量还原。

通用识别与信息抽取:在综合性评测 OCRBench v2 上,模型取得 54.7 的 SOTA 成绩。除整页文档还原外,模型 还支持关键信息抽取(KIE),根据业务指令精准提取发票、证件、报表中的关键字段,省去二次人工摘录的繁琐环节。

六项基准雷达图:MiniCPM-OCR 1.0 综合轮廓最大

六项基准分场景柱状图:MiniCPM-OCR 1.0均处于第一梯队,并在四项中取得第一

14 款主流 OCR 模型、六项基准完整对比:MiniCPM-OCR 1.0均处于领先位置,并在四项中取得第一

DSpark 解码加速:突破大规模文档吞吐的效率边界

在企业级文档处理场景中,除准确率外,单页处理时间与算力持有成本直接决定了方案的可落地性。特别是在金融合同归档、学术库数字化、政企历史档案清洗等千万级页面的吞吐任务中,算力开销往往成为沉重负担。

MiniCPM-OCR 1.0 引入了 DSpark 解码加速技术,让端到端处理效率提升了 55%,实际吞吐量达到原有的 1.6 倍,处理周期更短,算力开销更低。

我们在统一的硬件与数据基准下(RTX 5090,OmniDocBench v1.6 完整测试集,各系统官方 SDK 默认配置)进行了相对吞吐横向实测。按每秒处理页数计算,MiniCPM-OCR 1.0 的吞吐处理达到 PaddleOCR-VL-1.6 的 1.49 倍,MinerU2.5 Pro 的 3.62 倍。同样的硬件投入与时间窗口,MiniCPM-OCR 1.0 能处理成倍的文档页数,真正实现业务规模化落地中的降本增效。

吞吐量对比:MiniCPM-OCR 1.0 达 1.217 页/秒(所有参测模型均采用加速配置)

首创 OCR 决策模型 Jev:「AI 质检员」上线,告别人工逐页复核

设想这样一个场景:一个团队用 OCR 处理了一万份文档。接下来怎么确认结果没问题?

全量人工核对,成本高、周期长;随机抽检,又难以杜绝关键公式、核心金额错位的漏网之鱼。OCR 模型在评测集上的整体分数反映的是模型在大量样本上的平均水平。而在合同、财务、科研等严肃的商业与生产环境中,每一份文档都需要绝对可靠,这导致企业仍需投入大量人力进行复核,成了文档自动化中最耗人力的一环。

MiniCPM 给出的解法是:给流水线配一位「AI 质检员」——MiniCPM-OCR Jev。MiniCPM-OCR Jev 是业内首个 OCR 解析结果决策模型,它不负责文字解析,而是专注判别解析结果的可靠性。

心理学家丹尼尔·卡尼曼在《思考,快与慢》中把人的思考分成两种:System 1 是快速的直觉反应,比如一眼认出朋友的脸;System 2 是缓慢的逐步推理,比如解一道复杂的数学题。MiniCPM-OCR Jev 采用 System-1 直觉决策路线,不展开长篇推理,在对照原始图像与 OCR 输出结果后快速对解析的可靠性做出置信度判别:

多模态精准判别:细致比对原始图像与输出文本,敏锐捕捉正文、LaTeX 公式与结构化表格中的漏字、错字符或格式错位。

跨模型稳定泛化:Jev 的判别能力独立于具体的解析模型。它具备出色的跨模型泛化能力,能够作为独立的「质检员」即插即用地接入各类既有 OCR 系统,无需替换原有解析模型即可无缝升级。在 MiniCPM-OCR、GLM-OCR、PaddleOCR-VL-1.6 和 Xiaomi-OCR-0 的解析结果上,Jev 的 AUROC 均稳定在 91.9~93.4 之间。

接近超大模型的判别精度:仅 2B 参数的 MiniCPM-OCR Jev 在OCR 解析结果决策评测 JevOCRBench 上,整体 AUROC 达到 93.6,不仅超越专用判别模型 JEV-35B-A3B(AUROC:90.1),还逼近了参数量远在其之上的超大模型 Qwen3.5-397B-A17B(AUROC: 93.8)的判别水准。

JevOCRBench 完整对比:2B 参数的 MiniCPM-OCR Jev 超越 35B 级判别模型

有了 Jev,业务流程可以发生实质性改变:

自动筛选,减少人工复核:根据业务场景与准确率要求设置评分阈值,超过阈值的区域解析结果可自动入库,无需人工复核。在法律文书场景下,高达 85% 的免检比例即可达到 99.4% 的免检准确率;财务票据、复杂文档等场景也可按相应准确率要求逐步放开免检范围,让人类从漫无目的的「地毯式排查」中解脱出来,只做关键决策,大幅降低核验工时。

自动筛选:不同阈值下的免检比例与免检准确率曲线

多模型择优,提升解析质量:基于同一份版面分割结果,让多个 OCR 模型分别解析各区域,再由 Jev 对候选结果评分,按区域选出高分结果并组合输出,为多个主流解析方案的输出带来稳定的准确率提升。

多模型择优:Jev 评分优选为不同 OCR 基础系统带来的提升

真实业务场景 Cases:从手写笔记到财务报表,解析与决策双效拉满

数字之外,来看模型在真实文档上的表现。MiniCPM-OCR 面向金融、财税、法务、医疗等以文档为主要业务载体的行业,已在多类客户场景中部署应用。

模型可在本地完成票据、单据、合同、流水、报表等文档的解析与结构化:还原版面与表格结构,跨页内容可合并输出,结果以 Markdown 或字段化数据交付,供业务系统调用。对解析结果的质量校验,可配合 MiniCPM-OCR Jev 决策模型完成。

中文场景:手写笔记、复杂矩阵公式、多栏报纸、财务宽表、带公章的公文、插图转结构化表格、印章遮挡下的关键信息抽取(KIE),七类高频场景一览:

中文场景案例集(图片):手写笔记、复杂公式、报纸、财务宽表、盖章公文、插图表格化、关键信息抽取

中文场景的实现过程——从原图、Layout 框图(印章与文本区域检测)到结构化 Markdown 渲染:

中文场景案例集(GIF):原图—版面检测—结构化输出全流程

英文场景:手写物理笔记、泛黄历史文献、扫描公文、多版面新闻报纸、多财年财务报表、热敏小票关键信息抽取:

英文场景案例集:手写笔记、历史文献、扫描公文、报纸、财务报表、小票信息抽取

英文场景的解析和输出过程:

英文场景案例集(GIF):原图—版面检测—结构化输出全流程

再看 Jev 的判别效果。同一张原图、两份候选解析结果,Jev 的评分与真实质量几乎完全对齐:中文场景下,含多处字义错误的候选只得 0.0067 分,而准确版本得 0.984 分;公式与表格场景同样泾渭分明。英文场景下规律一致——错误集中、结构错乱的候选被压到 0.1 分以下,可靠结果稳定站在 0.8 以上。这意味着业务侧可以直接用分数划线:线上自动入库,线下只查低分。

Jev 英文判别案例(图片):文本、公式、表格三场景评分对比

全生态开源适配:开箱即用,极简开发

我们希望这些能力能被更多开发者直接使用和改造。MiniCPM-OCR 系列延续了面壁「开源、高效、开发者友好」的技术基因,在发布首日即完成了全面的软硬件适配:

芯片侧 Day-0 适配:依托长期构建的芯片合作生态,MiniCPM-OCR 已完成与 AMD、Arm、后摩智能、Intel、NVIDIA 等厂商的 Day 0 级适配。此外,众智 FlagOS 社区基于统一多芯片 AI 系统软件栈,为 MiniCPM-OCR 1.0 与 MiniCPM-OCR Jev 完成 Day0 跨芯适配,覆盖此芯科技、华为昇腾、海光信息、天数智芯、昆仑芯、沐曦、摩尔线程、曦望、平头哥、清微智能、英伟达及 Mac(ARM),共 12 个平台。相应的多芯 BF16 版本已同步上线魔搭社区与 Hugging Face,开发者可搜索FlagRelease获取模型权重与部署说明。本轮单卡 BF16 评测中,FlagOS 版 Jev 的计算吞吐达英伟达原生方案的 98.7%;在端侧,Jev 仅使用 M5 CPU,平均 1.20 秒完成一次页面块判别。依托 FlagOS 的跨芯适配,产业用户可根据业务需求与现有算力,选择文档解析与质检的部署方案。

目前,面壁智能已与爱芯元智、地瓜机器人、华为昇腾、海光信息、联发科技、高通、芯擎科技、紫光展锐等芯片及计算平台企业建立深度协同,广泛的软硬协同生态覆盖手机、PC、汽车、机器人、边缘设备及服务器等场景,让 MiniCPM 系列模型能够更快、更高效地落地到各类终端设备中。

推理与微调框架支持:MiniCPM-OCR 系列已全面兼容 vLLM、SGLang、llama.cpp、Ollama 等主流推理框架;调用端支持 Hugging Face CLI、pip SDK、功能完备的 API 以及成熟的 Agent Skill 插件封装,并全面开源二次微调代码;同时上线了流畅的在线 WebDemo,为开发者全面贯通从在线效果体验、端云高效部署到领域定制训练的完整路径。

想直接上手体验?我们已同步上线官方 WebDemo,上传手边一张随手拍的文件或论文,即可实时查看解析效果。目前,MiniCPM-OCR 1.0 与 MiniCPM-OCR Jev 的模型权重、部署工具链与在线服务已全面上线开源,开发者与企业伙伴可直接在 GitHub、Hugging Face 与 ModelScope 获取相关资源与体验服务。

欢迎大家下载测试、交流反馈,与我们一同探索新一代端侧文档智能的应用边界。