MiniCPM5-1B

MiniCPM 文本系列

部署 Cookbook 与 Agent Skills

MiniCPM5-1B 使用标准 LlamaForCausalLM 架构，主流推理引擎可直接加载，无需自定义算子，也无模型代码 fork。为方便开发者快速复现部署流程，我们提供单页 cookbook，并配套一一对应的 Cursor Agent Skill。

Cookbook：适合手动执行。 Agent Skills ：适合在 Cursor / Claude Code 中由 agent 根据目标后端、硬件和数据路径选择执行路线。

顶层 Skill

MiniCPM5-1B Deploy Skill（自动路由到transformers · vllm · sglang · llama-cpp · ollama · lmstudio · mlx）

下载这个 Skill 并并放入当前项目目录后，你可以在 Cursor / Claude Code 等 Coding Agent 中输入：

Plain Text

@minicpm5-deploy   用 vLLM 在 8000 端口起 openbmb/MiniCPM5-1B

Agent 会读取顶层 Skill，并根据目标后端、硬件和数据路径选择对应的子 Skill 与 cookbook，再执行命令并回报结果。

下方按推理后端列出对应的 cookbook 与子 Skill。

量化模型不单独作为后端列出，而是在可加载对应格式的推理后端中说明。

推理部署

后端	适用模型 / 场景	Cookbook	对应 Agent Skill
Transformers	BF16 / FP16，本地 Python 推理，GPU + CPU	立即获取	立即获取
vLLM	BF16 / FP16 OpenAI server	立即获取	立即获取
SGLang	BF16 / FP16 OpenAI server，推荐用于 tool calling	立即获取	立即获取
llama.cpp	GGUF，CPU/GPU 本地推理	立即获取	立即获取
Ollama	GGUF，本地端侧运行	立即获取	立即获取
LM Studio	GGUF，Mac 桌面应用与 OpenAI server	立即获取	立即获取
MLX	MLX / 4bit，Apple Silicon 本地推理	立即获取	立即获取
ArcLight	GGUF 本地端侧 / CPU / 桌面 / 服务器	立即获取	立即获取

---

其他支持的框架

除上文列出的部署框架外，MiniCPM5-1B 也支持通过 FlagOS 进行多芯片部署。

多 AI 芯片支持

基于 FlagOS 极短时间内适配 MiniCPM5-1B 到 9 种不同的 AI 芯片，得益于众智 FlagOS 的多芯片统一 AI 系统软件栈的能力。目前，在 FlagOS 团队构建的面向多架构人工智能芯片的大模型自动迁移、适配与发布平台 FlagRelease 上，已发布 MiniCPM5-1B 的多芯片版本，感兴趣的可以跳转 👉 立即了解

使用方式

使用 FlagOS 在 Nvidia 体验性能加速

1. From FlagRelease（推荐）

FlagRelease是FlagOS团队构建的一套面向多架构人工智能芯片的大模型自动迁移、适配与发布平台，已发布MiniCPM-1B的多芯片版本。FlagRelase 已内置相关软件包，无需用户安装。

1. 从零开始

依赖 Python3.12, GLIBC_2.39, GLIBCXX_3.4.33, CXXABI_1.3.15 环境

第一步：安装 FlagOS 算子库

官方仓库：https://github.com/flagos-ai/FlagGems

Bash

pip install flag-gems==4.2.1rc0
pip install triton==3.5.1

第二步：开启加速

通过在 vllm 执行推理的源码中增加 flagGems 的导入即可开启 flagGems 加速

Python

import flag_gems
flag_gems.enable(record=True, once=True, path="/root/gems.txt")

Bash

vllm serve ${model_path} \
--trust-remote-code \
--dtype bfloat16 \
--enforce-eager \
--port ${Port} \
--served-model-name ${model_name} \
--gpu-memory-utilization 0.85

使用 FlagOS 统一多芯片后端插件

vllm-plugin-FL 是一个为 vLLM 推理/服务框架构建的插件，它基于 FlagOS 的统一多芯片后端开发，旨在扩展 vLLM 在多种硬件环境下的功能和性能表现。

厂商	从零开始	从 FlagRelease 开始	从 FlagRelease 开始
Nvidia	vllm-plugin-FL/MiniCPM5-1B	MiniCPM5-1B-ModelScope	MiniCPM5-1B-nvidia-FlagOS