MiniCPM3-4B

MiniCPM3-4B 是 MiniCPM 系列第三代语言模型，具备高效能与高精度的多任务处理能力。其核心特征在于 40 亿参数规模，相较前代版本（包括 MiniCPM1.0 及 MiniCPM2）实现了显著的能力跃升，在性能表现与任务泛化性方面均有实质性增强。

技术亮点

• ：采用高效的纯解码器（decoder-only）Transformer 架构，注意力头数量与前馈网络层维度均经过精心设计与调优。该优化使模型在仅 40 亿参数的轻量化条件下依然具备强大的任务处理能力，并在多项基准测试中展现出与参数量远超自身的模型相媲美的竞争力。
• ：借助 DeepSpeed 与 Megatron-LM 等分布式训练框架，实现训练过程在多 GPU 与多计算节点间的并行化部署，加速收敛并降低资源消耗；采用动态损失缩放与梯度检查点技术防止数值溢出、减少显存占用。训练数据构建阶段通过智能过滤与去重机制，确保模型免受低质量、低多样性及低信息价值文本样本的干扰。
• ：采用基于 Byte-Pair Encoding（BPE）并针对多语言（尤以中英双语）优化的新型分词方案；针对特定任务变体采用 LoRA、前缀微调等参数高效微调方法，以极小的参数调整实现快速适配；推理层面集成量化感知训练与注意力缓存等机制，进一步提升推理效率与部署灵活性。

模型表现

• 综合评测
• 函数调用评测 (BFCL v2)

* 数据取自官方评测