MiniCPM4:面向端侧智能的超高效大语言模型
本文介绍了 MiniCPM4,一款专为端侧设备设计的高效大语言模型(LLM)。我们通过在模型架构、训练数据、训练算法和推理系统四个关键维度进行系统性创新来实现这一高效性。具体而言,在模型架构方面,我们提出了 InfLLM v2——一种可训练的稀疏注意力机制,能够加速长上下文处理的预填充与解码阶段。在训练数据方面,我们提出了 UltraClean,一种高效且准确的预训练数据过滤与生成策略,以及 UltraChat v2,一个全面的监督微调数据集;这些数据集使得模型仅使用 8 万亿训练词元即可达到令人满意的性能。在训练算法方面,我们提出了 ModelTunnel v2 用于高效的预训练策略搜索,并通过引入分块 rollout 机制实现负载均衡的强化学习,以及提出数据高效的三值 LLM BitCPM 来改进现有的后训练方法。在推理系统方面,我们提出了一个集成稀疏注意力、模型量化和推测采样的系统,以实现高效的预填充和解码。为满足不同的端侧需求,MiniCPM4 提供了两个版本,分别具有 0.5B 和 8B 参数。此外,我们构建了一个混合推理模型 MiniCPM4.1,可在深度推理模式和非推理模式下使用。评估结果表明,MiniCPM4 和 MiniCPM4.1 在各项基准测试中优于同等规模的开源模型,其中 8B 版本在长序列理解和生成方面显示出显著的速度提升。