MiniCPM5-2B

MiniCPM 文本系列

部署 Cookbook 与 Agent Skills

MiniCPM5-2B 使用标准 LlamaForCausalLM 架构，主流推理引擎可直接加载，无需自定义算子，也无模型代码 fork。为方便开发者快速复现部署流程，我们提供单页 cookbook，并配套一一对应的 Agent Skill。

Cookbook：适合手动执行。 Agent Skills：适合在 Cursor / Claude Code 等 Coding Agent 中，由 agent 根据目标后端、硬件和数据路径选择执行路线。

顶层 Skill

MiniCPM5 Deploy Skill（自动路由到 transformers · vllm · sglang · llama-cpp · ollama · lmstudio · mlx · arclight · vllm-ascend）

下载这个 Skill 并放入当前项目目录后，可以在 Cursor / Claude Code 等 Coding Agent 中输入：

Plain Text

@minicpm5-deploy 用 vLLM 在 8000 端口启动 openbmb/MiniCPM5-2B

Agent 会读取顶层 Skill，并根据目标后端、硬件和数据路径选择对应的子 Skill 与 cookbook，再执行命令并回报结果。

量化模型不单独作为后端列出，而是在可加载对应格式的推理后端中说明。

推理部署

后端	适用模型 / 场景	Cookbook	对应 Agent Skill
Transformers	BF16 / FP16，本地 Python 推理，GPU + CPU	立即获取	立即获取
vLLM	BF16 / FP16 OpenAI server	立即获取	立即获取
SGLang	BF16 / FP16 OpenAI server，推荐用于 tool calling 与 DSpark	立即获取	立即获取
llama.cpp	GGUF，CPU / GPU 本地推理	立即获取	立即获取
Ollama	GGUF，本地端侧运行	立即获取	立即获取
LM Studio	GGUF，Mac 桌面应用与 OpenAI server	立即获取	立即获取
MLX	MLX / 4bit，Apple Silicon 本地推理	立即获取	立即获取
ArcLight	GGUF，本地端侧 / CPU / 桌面 / 服务器	立即获取	立即获取
vLLM Ascend	BF16 / FP16 OpenAI server，昇腾设备	立即获取	立即获取

---

其他支持的框架

除上文列出的部署框架外，MiniCPM5-2B 也支持通过 FlagOS 进行多芯片部署。

FlagOS 提供多芯片统一 AI 系统软件栈，并已在 FlagRelease 上发布 MiniCPM5-2B 的多芯片版本，覆盖 Nvidia、海光、沐曦、天数智芯、燧原、摩尔线程、昆仑芯、昇腾及 ARM-v9 等平台。

查看 MiniCPM5-2B FlagOS 多芯片版本与完整使用说明