MiniCPM4.1

MiniCPM4.1 是专为端侧设备设计的高效大型语言模型（LLM），通过在模型架构、训练数据、训练算法和推理系统四个关键维度上的系统创新实现了这种效率。

技术亮点

• ：采用可训练稀疏注意力机制，在处理 128K 长文本时，每个 token 仅需与少于 5% 的 token 计算相关性，显著降低长文本计算开销。如右图 RULER-NIAH 压力测试所示，在最长 128K 上下文、各深度位置均保持满分检索精度。
• ：Model Wind Tunnel 2.0 引入下游任务性能的扩展预测方法，实现更精确的训练配置搜索；BitCPM 将模型参数量化位宽极致压缩至三值，实现约 90% 的位宽缩减；并结合 FP8 低精度计算与多 token 预测训练策略进一步提升训练效率。
• ：UltraClean 基于高效数据验证构建迭代式数据清洗策略，并开源高质量中英文预训练数据集 UltraFinweb；UltraChat v2 构建大规模高质量监督微调数据集，覆盖知识密集型、推理密集型、指令遵循、长文本理解及工具调用等多维度数据。
• ：CPM.cu 轻量高效 CUDA 推理框架集成稀疏注意力、模型量化与投机采样技术，实现高效预填充与解码；ArkInfer 跨平台部署系统支持多后端环境的高效部署，提供灵活的跨平台适配能力。

模型表现

• 深度推理评测

* 数据取自官方技术报告