国内首次！面壁智能开源千万级 SFT 与最大中文合成数据，MiniCPM5‑1B 核心数据公开
5 月 25 日至 29 日，面壁智能与 OpenBMB 联合举办「端侧大模型开源周」，每天解锁一个端侧大模型的杀手锏。端侧大模型的顶峰，不只在冰山一角，而在整座冰山。今天是开源周的第五弹：UltraData 系列数据集上新。
5 月 29 日，面壁智能联合清华大学、OpenBMB 开源社区联合发布并开源两大最新数据集：Ultra-FineWeb-L3 与 UltraData-SFT-2605。
其中，Ultra-FineWeb-L3 包含高质量中文+英文网页合成数据，总量突破 600B Tokens，中文占据 200B+ Tokens ，是目前 开源规模最大的中文预训练合成数据集；UltraData-SFT-2605 是 国内首次开源的千万级、同时包含深思考与非思考标注的 SFT 数据集。
MiniCPM5-1B 的训练过程，是 UltraData 分级治理体系的一次完整实践，此次上新的两大数据集 Ultra-FineWeb-L3 与 UltraData-SFT-2605 均已在 MiniCPM5-1B 的训练流程中得到完全验证，覆盖从预训练退火到后训练 SFT 的全链路。
这两大数据集均基于面壁智能独创的 UltraData 数据分级治理体系构建，为大模型产业提供了自主可控、高质量可复现的数据基础设施。目前已全面上线UltraData 网站与 HuggingFace 等，面向全球开发者免费开放。
UltraData 数据分级治理：从「堆规模」到「精炼数据」
大模型训练数据如同原油，未经提炼无法直接驱动引擎。在模型架构趋同、高质量公开数据资源逐渐逼近枯竭的背景下，单纯依赖数据规模扩张已难以为继。不同训练阶段对数据的质量、数量及分布存在显著差异，需要有针对性的数据策略。
今年 2 月，面壁智能联合清华大学、OpenBMB 提出的 L0-L4 五级数据分级治理体系，正是为了解决这一问题。
从原始数据（L0）经基础过滤（L1）、模型精筛（L2）、合成与增强（L3），到最终可用于编排的数据（L4），每一级对应明确的处理标准与应用场景，避免「一刀切」的粗放加工。在英文网页、中文网页、数学、代码四个领域的系统性实验中，模型性能随数据质量从 L1 向 L3 逐级提升而持续增强，分级训练相比混合训练平均性能提升 1.49 个百分点。
没有系统的数据治理，就没有可复现的 AGI 进化。 此次 L3 数据集的开源，正是这套方法论从理论走向实践、从数学垂直领域向通用网页与后训练 SFT 全面延伸的关键一步。
Ultra‑FineWeb‑L3 ：让网页文本从「可读」到「好学」
Ultra‑FineWeb‑L3 是将 L3 精炼技术系统化应用于通用网页数据的合成数据集，规模超 600B Tokens，其中英文 400B+ Tokens，中文 200B+ Tokens。同时也是当前全球最大规模的中文预训练合成数据，一举解决了长期以来中文高质量预训练数据稀缺、分布不均的行业痛点。
以 L2 精筛高质量网页数据 Ultra-FineWeb 为种子，Ultra-FineWeb-L3 使用多种模型进行问答对生成与多风格改写，将海量网页文本升级为结构化、高信息密度、更适合模型学习的预训练数据。其核心目标不是增加数据量，而是提升单位数据的可学习性。
在同等训练量下，Ultra-FineWeb-L3 在 ARC-E、HellaSwag、OpenbookQA 等英文任务以及 CMMLU 等中文任务上均显著超越 FineWeb-edu、FinePhrase 等其他高质量数据集，且训练后期的领先优势持续扩大。
作为 MiniCPM5-1B 退火阶段的核心训练数据，它为模型在训练后期实现“最后一公里”能力跃升提供了高密度燃料。
如果说此前发布的 UltraData-Math 是 UltraData 分级治理体系在数学领域的一次最佳实践，那么 Ultra-FineWeb-L3 则是这一方法论向通用网页领域的进一步延伸。
它的意义不只是提供一份更大规模的网页合成数据，更是把「可读」的网页文本，进一步转化为「好学」的训练数据。
UltraData-SFT-2605：千万级深思考与非思考 SFT 全量开源
如果说预训练决定了模型的知识广度，SFT 阶段则决定了模型能否精准遵循指令、能否一步步推演出复杂问题的答案。
UltraData‑SFT‑2605 是国内首个开源的千万级规模、同时包含深思考与非思考完整标注的全量 SFT 数据集，覆盖数学、代码、知识、指令遵循等多个领域。
该数据集在每个领域、每个难度层级中同时构建两类数据：
非思考数据：对应快速响应场景下的直接回答能力
深思考数据：对应复杂任务场景下的推理、规划与验证能力，包含完整思维链标注
通过这种双能力并行设计，模型可以在不同使用场景下获得针对性的训练信号。
全流程质量治理透明化是 UltraData-SFT-2605 的另一大亮点。
即使同属于 L3 数据，不同样本在问题价值、回答质量、推理清晰度和评测污染风险上仍然存在差异，因此 L3 内部同样需要明确的质量筛选标准。
为此，UltraData-SFT-2605 在构建过程中引入了完整的数据治理流程：从 Query 构造与筛选，到 Answer 质量控制，再到 Benchmark 去污与训练验证，尽可能确保进入最终训练的数据干净且真正有效。
SFT 数据构造和验证流程示意图
开发者可以追溯每条数据的处理过程，理解其被保留、增强与验证的依据，为 1B 级端侧大模型具备强推理能力提供了可复现的数据基础。基于此，开发者无需从零开始构建复杂的推理标注体系，即可快速训练出具备深度思考能力的端侧大模型。
不止于规模，更是可复用的数据治理方法论
大模型的发展正迈入新阶段，数据科学必须从粗放式的规模扩张，迈向精细化的数据治理与利用。UltraData 数据分级治理体系提供的正是这一转型的系统性方案。
此前，UltraData 已积累了丰富的数据治理与开源基础。其开放社区网站系统整理了 UltraChat、UltraFeedback 等高质量数据集的前期工作，并开源了实验过程中的 2.4T Tokens 数据与 4 项数据治理工具。
其中，UltraData-Math 以 290B+ Tokens 的总规模构建了从 L1 网页语料到 L3 推理链的分级数学数据体系，L3 数学合成数据达 88B Tokens，是目前开源社区规模最大的数学预训练数据，并以霸榜之姿登顶 Hugging Face Trending 第一。
Ultra-FineWeb 连续两周登顶 Hugging Face Trending 第一，累计下载量超 50 万次。
此次开源的 Ultra-FineWeb-L3 与 UltraData-SFT-2605，正是这套分级治理方法论从数学垂直领域向通用网页和后训练 SFT 阶段全面延伸的标志性成果。
开源不是终点，是共建长期数据生态的起点
高质量数据正在成为端侧智能落地的关键变量。对于端侧厂商而言，UltraData 的开源意味着无需重复投入巨额成本进行网页合成与 SFT 数据清洗，直接使用即可复现 MiniCPM5-1B 级别能力。
高质量 L3 数据使 1B 模型在数学、代码、推理等任务上逼近更大模型，加速端侧智能在手机、PC、汽车等场景的落地。高质量数据意味着更少的训练 token 即可达到同等效果，间接节省算力与内存——这正是端侧大模型从技术验证走向规模化落地的关键一环。
面壁智能始终秉持「开源」理念，为社区开发者提供从数据获取到模型训练的全链路支持，深入探索如何高效量化数据价值、精准适配模型各阶段的训练需求，进一步构建「数据<->模型协同演进」，形成模型反哺数据治理、高质量数据进一步优化模型的良性闭环。
此次 UltraData 系列数据集的上新与开源，正是一个持续迭代的新起点。
未来，UltraData 将陆续开放更多预训练 L1 / L2 / L3 数据、更强通用 SFT 数据、Agent‑SFT 数据以及 RL 数据，相关的治理算法与模型也会持续开源，构建从「一次性发布」到「持续迭代」的数据生态，让高性能 AI 更快、更自然地来到每个人身边。
➤ UltraData 网站
🔗 https://ultradata.openbmb.cn
➤ Hugging Face 地址
🔗 https://huggingface.co/collections/openbmb/ultradata
➤ Ultra-FineWeb-L3
🔗 https://huggingface.co/datasets/openbmb/Ultra-FineWeb-L3
➤ UltraData-SFT-2605
🔗 https://huggingface.co/datasets/openbmb/UltraData-SFT-2605
➤ ForgeTrain 开源链接
🔗 https://github.com/OpenBMB/ForgeTrain