UltraData 数据栈重磅升级:Ultra-FineWeb-L3 与 UltraData-SFT-2605 上新
UltraData 数据栈迎来重磅升级!分级数据治理框架(L0-L4)已在 MiniCPM5-1B 上完成全链路实战验证,现已面向社区全面开放。
本次上新:
Ultra-FineWeb-L3 — 600B tokens(200B+ 中文、400B+ 英文)高密度合成预训练数据,基于 Ultra-FineWeb 经多风格改写与问答生成扩展,已用于 MiniCPM5-1B 的 decay 阶段。
Hugging Face: https://huggingface.co/datasets/openbmb/Ultra-FineWeb-L3
UltraData-SFT-2605 — 1500 万+(15M+)后训练样本,覆盖数学、代码、知识与指令遵循等方向,包含 deep-thinking 与 non-thinking 两种训练风格,已用于 MiniCPM5-1B 的 SFT 阶段。
Hugging Face: https://huggingface.co/datasets/openbmb/UltraData-SFT-2605
可在 UltraData 平台查看数据预览与下载样例;原文动态见 OpenBMB 官方 X。