MiniCPM5-2B 正式发布:UltraData 驱动的 2B 级端侧模型
MiniCPM5-2B 正式发布。作为 MiniCPM5 系列的第二个模型,它面向端侧、本地和资源受限场景,采用 2B 级稠密 Transformer 架构,原生支持 131K 上下文。
模型能力
根据官方模型卡,MiniCPM5-2B 覆盖代码、数学、长上下文、工具调用与 Agent 等任务,并在其公开对比范围内达到 2B 级开源模型领先表现。
总参数量约 25.2 亿,非词嵌入参数约 19.8 亿
42 层 Transformer,采用 GQA 注意力机制
原生支持 131K 上下文,适合本地与资源受限部署
UltraData 贯穿训练全流程
MiniCPM5-2B 的数据实践采用 UltraData L0-L4 分级数据治理,覆盖预训练、中期训练和后训练。已公开的数据资源包括:
Ultra-FineWeb
Ultra-FineWeb-L3
UltraX-Preview
UltraData-Code
UltraData-Math
UltraData-SFT-2605
UltraData-SFT-Agent-2609
UltraData-RL-2609
资源
Hugging Face 模型卡
ModelScope
GitHub