Ultra-FineWeb-en-v1.4 发布!2.2T tokens 全面开源
作为 MiniCPM4 / 4.1 的核心训练燃料,Ultra-FineWeb-en-v1.4 本次基于 FineWeb v1.4.0 全面更新,带来多项重要改进。
最新动态:
数据更及时:新增了 2024 年 4 月至 2025 年 6 月的 CommonCrawl 数据快照,以捕获最新的世界知识。
访问更便捷:CC Dump Slices 上线!无需再下载整个庞大的数据集,可按需无缝获取所需部分。
亮点与性能提升:
全面的质量过滤流程,确保数据的高质量和相关性。经过验证的数据过滤策略,显著提升模型训练效果。支持大规模预训练,为 MiniCPM4 系列模型提供强大支撑。完全开源,便于研究者和开发者使用。
Ultra-FineWeb-en-v1.4 代表了我们在高质量预训练数据领域的最新成果,为构建更强大的语言模型奠定了坚实基础。