MiniCPM4.1 & MiniCPM4

MiniCPM 文本系列

MiniCPM4.1 与 MiniCPM4 面向端侧部署，从模型架构、学习算法、训练数据与推理系统等方面优化运行效率。本页汇集 MiniCPM4.1-8B、MiniCPM4-8B 与 MiniCPM4-0.5B 的资源；其中 MiniCPM4.1 提供混合思考模式，请按具体版本查看能力与配置。

按任务需求与设备条件选择 MiniCPM4.1-8B、MiniCPM4-8B 或 MiniCPM4-0.5B。下列入口保持版本独立，部署时请使用与所选权重对应的模型标识和配置。

核心特性

• 高效模型架构：

  • InfLLM-V2 -- 可训练的稀疏注意力机制：采用可训练的稀疏注意力机制架构，在 128K 长文本处理中，每个词元仅需与不足 5% 的词元进行相关性计算，显著降低长文本的计算开销 （训练算子）

• 高效学习算法：

  • 模型风洞 2.0 -- 高效 Predictable Scaling：引入下游任务的 Scaling 预测方法，实现更精准的模型训练配置搜索
  • BitCPM -- 三值量化：将模型参数位宽压缩至 3 值，实现模型位宽 90% 压缩
  • 高效训练工程优化：采用 FP8 低精度计算技术，结合多词元预测（Multi-token Prediction）训练策略

• 高知识密度训练数据：

  • UltraClean -- 高质量预训练数据的清洗与合成：构建基于高效验证的迭代式数据清洗策略，开源高质量中英文预训练数据集 UltraFineweb
  • UltraChat v2 -- 高质量有监督微调数据合成：构建大规模高质量有监督微调数据集，涵盖知识密集型数据、推理密集型数据、指令遵循数据、长文本理解数据、工具调用数据等多个维度

• 高效推理系统：

  • CPM.cu -- 轻量级的高效CUDA推理框架：融合了稀疏注意力机制、模型量化与投机采样，充分体现MiniCPM4/MiniCPM4.1的效率优势 （推理算子与框架）
  • ArkInfer -- 跨平台部署系统：支持多后端环境的一键部署，提供灵活的跨平台适配能力

模型下载

版本	HuggingFace	ModelScope
MiniCPM4.1-8B	下载	下载
MiniCPM4-8B	下载	下载
MiniCPM4-0.5B	下载	下载

快速开始

Bash

pip install vllm
vllm serve openbmb/MiniCPM4-8B --dtype bfloat16 --port 8000

Python

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "openbmb/MiniCPM4-8B",
    torch_dtype=torch.bfloat16,
    device_map="auto"
).eval()
tokenizer = AutoTokenizer.from_pretrained("openbmb/MiniCPM4-8B")

messages = [{"role": "user", "content": "请介绍一下你自己。"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
outputs = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.95)
print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))