显存与性能
在部署 MiniCPM 系列模型前，可以先根据模型尺寸、量化方式和设备配置，预估所需显存。我们整理了常见模型配置的显存需求和设备适配建议，帮助你更快判断当前硬件能否稳定运行。
显存估算公式
模型权重显存
显存 (GB) ≈ 参数量 (十亿) × 每参数字节数
| 精度 | 每参数字节 | 相对 FP16 节省 | 说明 |
|---|---|---|---|
| FP32 | 4 | -100%（翻倍） | 训练用，推理很少使用 |
| FP16 / BF16 | 2 | 基准 | 标准 GPU 推理精度 |
| INT8 | 1 | 50% | 质量损失极小 |
| INT4 / AWQ / GPTQ | 0.5 | 75% | 约 1-3% 困惑度增加 |
| GGUF Q4_K_M | ~0.55 | ~72% | 混合精度量化 |
| 三值量化 (BitCPM4) | ~0.19 | ~90% | 1.58-bit 极致压缩 |
KV Cache 显存
KV Cache (GB) = 2 × 层数 × KV 头数 × 头维度 × 上下文长度 × 2 字节 / 1024³
GQA（分组查询注意力）通过减少 KV 头数大幅降低 KV Cache 占用。MiniCPM4-8B 仅使用 2 个 KV 头（vs 32 个注意力头），KV Cache 仅为全注意力模型的 1/16。
总推理显存
总显存 ≈ 模型权重显存 + KV Cache + 运行时开销（~20%）
单用户短上下文场景下，可简化为：总显存 ≈ 模型权重 × 1.2
各模型显存速查表
| 模型 | BF16 | INT8 | INT4 | GGUF Q4 | 官方推荐显存 |
|---|---|---|---|---|---|
| MiniCPM5-2B | 4.69 GiB（权重） | 约 2.34 GiB（理论） | 约 1.17 GiB（理论） | 1.45 GiB（文件） | — |
| MiniCPM5-1B | 1.9 GB | 0.9 GB | 0.5 GB | 0.5 GB | — |
| MiniCPM4-0.5B | ~1.0 GB | 0.5 GB | 0.25 GB | 0.3 GB | — |
| MiniCPM4-8B | 14.9 GB | 7.5 GB | 3.7 GB | 4.1 GB | — |
| MiniCPM4.1-8B | 14.9 GB | 7.5 GB | 3.7 GB | 4.1 GB | — |
| MiniCPM-SALA (9B) | 16.8 GB | 8.4 GB | 4.2 GB | 4.6 GB | RTX 5090 可跑 1M 上下文 |
| MiniCPM-V 4.7 1B | 2.90 GiB（权重） | — | — | 1.66 GiB（含视觉投影文件） | — |
| MiniCPM-V 4.7 35B-A3B | 65.59 GiB（权重） | — | — | 20.76 GiB（含视觉投影文件） | — |
| MiniCPM-V 4.6 (1.3B) | 4 GB | — | 3 GB | 2 GB (CPU) | 官方：4 GB (BF16) |
| MiniCPM-V 4.5 (8B) | ~16 GB | — | — | — | — |
| MiniCPM-o 4.5 (9B) | 19 GB | — | 11 GB (AWQ) | 10 GB | 全双工 ≥ 24 GB RAM |
| VoxCPM2 | ~8 GB | — | — | — | 官方：~8 GB |
| VoxCPM1.5 | ~6 GB | — | — | — | 官方：~6 GB |
| VoxCPM-0.5B | ~5 GB | — | — | — | 官方：~5 GB |
MiniCPM5-2B 与 MiniCPM-V 4.7 的新增数值使用 GiB（1 GiB = 2³⁰ 字节）：BF16 为官方权重张量体积；GGUF 为 Q4_K_M 文件体积，视觉模型另计入默认 mmproj-model-f16.gguf。这些数值不含 KV Cache、视觉中间张量及运行时开销，不能直接视为所需显存。MiniCPM5-2B 的 INT8 / INT4 按完整 2,516,756,480 参数估算，不含量化元数据和保留高精度的部分。
设备适配参考
根据常见设备的可用显存 / 内存，推荐适合的模型与精度：
| 设备 | 可用显存 / 内存 | 推荐模型 |
|---|---|---|
| iPhone / Android (4-8 GB) | 2-4 GB | MiniCPM5-2B (GGUF)、MiniCPM-V 4.7 1B (GGUF)，先用短上下文 |
| Mac M1/M2 (8 GB) | ~6 GB | MiniCPM5-1B (BF16)、MiniCPM5-2B / MiniCPM-V 4.7 1B (GGUF) |
| Mac M3/M4 (16 GB) | ~12 GB | MiniCPM-o 4.5 (半双工)、VoxCPM2、MiniCPM4-8B (INT4) |
| Mac M4 Max (64 GB+) | 40+ GB | MiniCPM-SALA、MiniCPM-V 4.7 35B-A3B (GGUF)；后者 BF16 权重已超过 64 GB |
| RTX 3060 (12 GB) | 12 GB | MiniCPM5-2B / MiniCPM-V 4.7 1B (BF16，短上下文)、MiniCPM4-8B (INT4)、MiniCPM-o 4.5 (GGUF)、VoxCPM2 |
| RTX 3090 / 4090 (24 GB) | 24 GB | MiniCPM-o 4.5 (全双工)、MiniCPM4-8B (BF16)、MiniCPM-SALA (INT4) |
| A100 (80 GB) | 80 GB | MiniCPM-V 4.7 35B-A3B 可评估 BF16；需为上下文、图像和运行时额外预留显存 |
KV Cache 与长上下文
GQA 对长上下文显存占用的影响：
| 模型 | KV 头数 | 4K 上下文 | 32K 上下文 | 128K 上下文 |
|---|---|---|---|---|
| MiniCPM5-2B | 2 | 0.164 GiB | 1.313 GiB | 5.25 GiB |
| MiniCPM5-1B | 2 | 0.09 GB | 0.75 GB | 3.0 GB |
| MiniCPM-V 4.7 1B | 2 | 0.047 GiB | 0.375 GiB | 1.50 GiB |
| MiniCPM-V 4.7 35B-A3B | 2 | 0.078 GiB | 0.625 GiB | 2.50 GiB |
| MiniCPM4-8B | 2 | 0.13 GB | 1.0 GB | 4.0 GB |
| MiniCPM3-4B | 40 | 2.4 GB | 19.4 GB | OOM |
新增 KV 数值按单序列、BF16 缓存计算。MiniCPM5-2B 为 42 层全注意力；MiniCPM-V 4.7 1B / 35B-A3B 分别仅有 6 / 10 层全注意力，表中只统计这些层的 KV Cache，不含线性注意力状态、视觉输入处理及框架额外分配。35B-A3B 的权重驻留仍取决于全部专家，不能按约 3.5B 激活参数估算完整权重显存。
MiniCPM4-8B 的极致 GQA 设计（2 KV 头 vs 32 注意力头），使其在 128K 上下文时 KV Cache 仅需 4 GB，而传统全注意力的 MiniCPM3-4B 在 32K 时就已需要近 20 GB。 MiniCPM-SALA 更进一步，采用 75% 线性注意力 + 25% 稀疏注意力的混合架构，大部分层无需 KV Cache，因此能在单张 RTX 5090 (24 GB) 上实现百万 token 上下文。
架构参数参考
| 模型 | hidden_size | intermediate | 层数 | 注意力头 | KV 头 | 头维度 | 词表 |
|---|---|---|---|---|---|---|---|
| MiniCPM-V 4.7 1B | 1024 | 3584 | 24 | 8 | 2 | 256 | 248094 |
| MiniCPM-V 4.7 35B-A3B | 2048 | 512 (expert) / 512 (shared) | 40 | 16 | 2 | 256 | 248144 |
| MiniCPM5-2B | 2048 | 6144 | 42 | 16 | 2 | 128 | 130560 |
| MiniCPM5-1B | 1536 | 4608 | 24 | 16 | 2 | 128 | 130560 |
| MiniCPM3-4B | 2560 | 6400 | 62 | 40 | 40 | 64 | 73448 |
| MiniCPM4-8B | 4096 | 16384 | 32 | 32 | 2 | 128 | 73448 |
MiniCPM-V 4.7 的架构数值对应语言骨干，全注意力头维度与线性注意力配置分开计算；35B-A3B 包含 256 个路由专家，每 token 选择 8 个。