BitCPM4

BitCPM4 是通过量化感知训练（QAT）从 MiniCPM 系列模型衍生出的三值量化模型，在训练效率和模型参数效率方面都取得了显著改进。

核心亮点

• 2 阶段训练 — 训练方法的改进：在小模型上使用风洞搜索超参数；并采用两阶段训练方法——先在高精度下训练，然后进行 QAT，充分利用已训练好的高精度模型，并显著减少了 QAT 阶段所需的计算资源。
• 1.58bit 权重位宽 — 高参数效率：仅以 1.58 位的位宽就达到了与类似参数全精度模型相当的性能，展示了高参数效率。

模型表现

• 综合基准测试

BitCPM4 的性能与同尺寸的其他全精度模型相当。对比涵盖 Qwen3、Llama3.2、Gemma3（BF16）与 BitNet（三值）等模型；表中“*”为对应模型原始报告引用的数值。