MiniCPM5-1B
MiniCPM5-1B 是 10 亿参数模型,面向端侧和资源受限场景。已开源 Ultra-FineWeb、Ultra-FineWeb-L3、UltraData-Math、UltraData-SFT-2605。
核心亮点
- 18.2 Artificial Analysis Index V4.0 — 同尺寸开源模型评测结果:与同规模开源模型的对照结果见评测表,涵盖智能体工具调用、代码生成和复杂推理任务。
- 综合文本性能排名优异:在 Artificial Analysis(AA)Intelligence Index 中,MiniCPM5-1B(thinking)得 18.2 分,MiniCPM5-1B(non-thinking)得 17.9 分,同页展示的 Qwen3.5-2B 得 16.3 分。
- 桌面宠物:INT4 量化后权重约 0.5GB,可运行于手机、浏览器等端侧环境。
1B 参数规模下可驱动端侧应用,例如运行在本地设备上的「桌宠」。
技术亮点
- 三阶段训练(base → mid → post)+ 全开源语料:模型训练贯穿 基础训练(base)→ 中期训练(mid)→ 后训练(post) 三个阶段:基础训练用稳定训练 + 衰减训练构建核心语言能力与训练稳定性,中期训练强化目标能力并适配目标数据分布。配套语料全部开源(Ultra-FineWeb、Ultra-FineWeb-L3、UltraData-Math,以及后训练的 UltraData-SFT-2605)。
- SFT → RL → OPD 三步走:后训练分 SFT → RL → OPD 三步:先用 200B tokens 深度思考 SFT + 200B tokens 混合思考 SFT 建立深度思考/混合思考/通用对话能力;再为数学、代码、闭卷问答、写作等领域分别训练专门的 RL 教师模型,最后通过 On-Policy Distillation (OPD) 把多个教师的能力蒸馏回同一个发布模型。
结果:数学/代码/指令遵循平均分 +16 分,达到最大 token 预算的回复比例 -29 个百分点。
- 推理 RL + OPD 改进:推理 RL:基于 DAPO-Math-17k(受 JustRL 极简方案启发),采用两阶段长度调度,在提升推理准确率的同时压缩过长回复;并融合 TriviaQA、NQ-Open、LongWriter-Zero-RLData、合成 RLVR 及成对 RLHF 信号。
OPD 改进:在 RL 框架中用反向 KL 散度(reverse KL)作为优势估计替代原始基于验证的优势计算;在学生/教师 top-k logits 的并集上计算 RKL,兼顾准确性与效率;并直接复用各 RL 教师的领域内提示作为蒸馏数据,减少额外的数据整理步骤。
- 桌面宠物:我们还提供了 OpenBMB/MiniCPM-Desk-Pet,这是一个由 MiniCPM5-1B 本地驱动的桌面宠物。它支持 Apple Silicon / NVIDIA GPU / CPU 多种运行路径,可与 Cursor、Claude Code 和 Codex 等编码智能体协同工作,并支持 LoRA 角色切换。
模型表现
- 综合:对照模型包括 LFM2.5-1.2B-Thinking、Qwen3-0.6B/think 和 Qwen3.5-0.8B/think,各项分数见下表,涵盖工具调用、代码生成和复杂推理。适用于本地代码智能体、工具助手和推理助手等场景。
- 通用知识
- 领域知识
- 代码
- 指令遵循
- 数学推理
- 逻辑推理
- 智能体
* 数据来源于真实模型评测