显存与性能
在部署 MiniCPM 系列模型前，可以先根据模型尺寸、量化方式和设备配置，预估所需显存。我们整理了常见模型配置的显存需求和设备适配建议，帮助你更快判断当前硬件能否稳定运行。
显存估算公式
模型权重显存
显存 (GB) ≈ 参数量 (十亿) × 每参数字节数
| 精度 | 每参数字节 | 相对 FP16 节省 | 说明 |
|---|---|---|---|
| FP32 | 4 | -100%（翻倍） | 训练用，推理很少使用 |
| FP16 / BF16 | 2 | 基准 | 标准 GPU 推理精度 |
| INT8 | 1 | 50% | 质量损失极小 |
| INT4 / AWQ / GPTQ | 0.5 | 75% | 约 1-3% 困惑度增加 |
| GGUF Q4_K_M | ~0.55 | ~72% | 混合精度量化 |
| 三值量化 (BitCPM4) | ~0.19 | ~90% | 1.58-bit 极致压缩 |
KV Cache 显存
KV Cache (GB) = 2 × 层数 × KV 头数 × 头维度 × 上下文长度 × 2 字节 / 10⁹
GQA（分组查询注意力）通过减少 KV 头数大幅降低 KV Cache 占用。MiniCPM4-8B 仅使用 2 个 KV 头（vs 32 个注意力头），KV Cache 仅为全注意力模型的 1/16。
总推理显存
总显存 ≈ 模型权重显存 + KV Cache + 运行时开销（~20%）
单用户短上下文场景下，可简化为：总显存 ≈ 模型权重 × 1.2
各模型显存速查表
| 模型 | BF16 权重 | INT8 | INT4 | GGUF Q4 |
|---|---|---|---|---|
| MiniCPM5-2B | 5.03 GB | 2.52 GB（理论） | 1.26 GB（理论） | 1.56 GB |
| MiniCPM5-1B | 2.16 GB | 1.08 GB（理论） | 0.54 GB（理论） | 0.5 GB |
| MiniCPM4-0.5B | 0.87 GB | 0.43 GB（理论） | 0.22 GB（理论） | 0.3 GB |
| MiniCPM4-8B | 16.37 GB | 8.19 GB（理论） | 4.09 GB（理论） | 4.4 GB |
| MiniCPM4.1-8B | 16.37 GB | 8.19 GB（理论） | 4.09 GB（理论） | 4.4 GB |
| MiniCPM-SALA (9B) | 18.95 GB | 9.48 GB（理论） | 4.74 GB（理论） | 4.9 GB |
| MiniCPM-OCR 1.0 | 2.60 GB | 1.30 GB（理论） | 0.65 GB（理论） | 约 1.36 GB（自量化，含视觉投影） |
| MiniCPM-OCR Jev | 4.43 GB | 2.21 GB（理论） | 1.11 GB（理论） | - |
| MiniCPM-V 4.7 1B | 3.11 GB | 1.55 GB（理论） | 0.78 GB（理论） | 1.78 GB |
| MiniCPM-V 4.7 35B-A3B | 70.43 GB | 35.21 GB（理论） | 17.61 GB（理论） | 22.29 GB |
| MiniCPM-V 4.6 (1.3B) | 2.60 GB | 1.30 GB（理论） | 0.65 GB（理论） | 2 GB (CPU) |
| MiniCPM-V 4.5 (8B) | 17.39 GB | 8.70 GB（理论） | 4.35 GB（理论） | - |
| MiniCPM-o 4.5 (9B) | 18.74 GB | 9.37 GB（理论） | 11 GB（官方 AWQ） | 10 GB |
| VoxCPM2 | 4.58 GB | 2.29 GB（理论） | 1.15 GB（理论） | - |
| VoxCPM1.5 | 1.60 GB | 0.80 GB（理论） | 0.40 GB（理论） | - |
| VoxCPM-0.5B | ~1.0 GB | ~0.50 GB（理论） | ~0.25 GB（理论） | - |
表格口径说明：
- 单位：所有数值统一为 GB（1 GB = 10⁹ 字节）。
- BF16 权重：Hugging Face 仓库中 safetensors 权重文件的实测总体积。VoxCPM-0.5B 无公开权重索引，按 0.5B 参数量估算，以「~」标注。
- INT8 / INT4：标「（理论）」的是按参数量 × 1 / × 0.5 推算；未标注的为官方量化权重的实测体积（如 MiniCPM-o 4.5 的 AWQ）。
- GGUF Q4：
Q4_K_M量化文件体积，视觉模型已计入默认的mmproj-model-f16.gguf。 - 「-」：表示该口径下没有公开数据，可按上文公式自行估算。
- 以上数值均不含 KV Cache、视觉中间张量与运行时开销，不能直接当作最低显存要求。
设备适配参考
根据常见设备的可用显存 / 内存，推荐适合的模型与精度：
| 设备 | 可用显存 / 内存 | 推荐模型 |
|---|---|---|
| iPhone / Android (4-8 GB) | 2-4 GB | MiniCPM5-2B (GGUF)、MiniCPM-V 4.7 1B (GGUF)，先用短上下文 |
| Mac M1/M2 (8 GB) | ~6 GB | MiniCPM5-1B (BF16)、MiniCPM5-2B / MiniCPM-V 4.7 1B (GGUF) |
| Mac M3/M4 (16 GB) | ~12 GB | MiniCPM-o 4.5 (半双工)、VoxCPM2、MiniCPM4-8B (INT4) |
| Mac M4 Max (64 GB+) | 40+ GB | MiniCPM-SALA、MiniCPM-V 4.7 35B-A3B (GGUF)；后者 BF16 权重已超过 64 GB |
| RTX 3060 (12 GB) | 12 GB | MiniCPM5-2B / MiniCPM-V 4.7 1B (BF16，短上下文)、MiniCPM4-8B (INT4)、MiniCPM-o 4.5 (GGUF)、VoxCPM2 |
| RTX 3090 / 4090 (24 GB) | 24 GB | MiniCPM-o 4.5 (全双工)、MiniCPM4-8B (BF16)、MiniCPM-SALA (INT4) |
| A100 (80 GB) | 80 GB | MiniCPM-V 4.7 35B-A3B 可评估 BF16；需为上下文、图像和运行时额外预留显存 |
KV Cache 与长上下文
GQA 对长上下文显存占用的影响：
| 模型 | KV 头数 | 4K 上下文 | 32K 上下文 | 128K 上下文 |
|---|---|---|---|---|
| MiniCPM5-2B | 2 | 0.18 GB | 1.41 GB | 5.64 GB |
| MiniCPM5-1B | 2 | 0.09 GB | 0.75 GB | 3.0 GB |
| MiniCPM-V 4.7 1B | 2 | 0.05 GB | 0.40 GB | 1.61 GB |
| MiniCPM-V 4.7 35B-A3B | 2 | 0.08 GB | 0.67 GB | 2.68 GB |
| MiniCPM4-8B | 2 | 0.13 GB | 1.0 GB | 4.0 GB |
| MiniCPM3-4B | 40 | 2.4 GB | 19.4 GB | OOM |
新增 KV 数值按单序列、BF16 缓存计算。MiniCPM5-2B 为 42 层全注意力；MiniCPM-V 4.7 1B / 35B-A3B 分别仅有 6 / 10 层全注意力，表中只统计这些层的 KV Cache，不含线性注意力状态、视觉输入处理及框架额外分配。35B-A3B 的权重驻留仍取决于全部专家，不能按约 3.5B 激活参数估算完整权重显存。
MiniCPM4-8B 的极致 GQA 设计（2 KV 头 vs 32 注意力头），使其在 128K 上下文时 KV Cache 仅需 4 GB，而传统全注意力的 MiniCPM3-4B 在 32K 时就已需要近 20 GB。 MiniCPM-SALA 更进一步，采用 75% 线性注意力 + 25% 稀疏注意力的混合架构，大部分层无需 KV Cache，因此能在单张 RTX 5090 (24 GB) 上实现百万 token 上下文。
架构参数参考
| 模型 | hidden_size | intermediate | 层数 | 注意力头 | KV 头 | 头维度 | 词表 |
|---|---|---|---|---|---|---|---|
| MiniCPM-V 4.7 1B | 1024 | 3584 | 24 | 8 | 2 | 256 | 248094 |
| MiniCPM-V 4.7 35B-A3B | 2048 | 512 (expert) / 512 (shared) | 40 | 16 | 2 | 256 | 248144 |
| MiniCPM5-2B | 2048 | 6144 | 42 | 16 | 2 | 128 | 130560 |
| MiniCPM5-1B | 1536 | 4608 | 24 | 16 | 2 | 128 | 130560 |
| MiniCPM3-4B | 2560 | 6400 | 62 | 40 | 40 | 64 | 73448 |
| MiniCPM4-8B | 4096 | 16384 | 32 | 32 | 2 | 128 | 73448 |
MiniCPM-V 4.7 的架构数值对应语言骨干，全注意力头维度与线性注意力配置分开计算；35B-A3B 包含 256 个路由专家，每 token 选择 8 个。