Ultra-FineWeb-L1 正式发布:1T+ tokens 高质量英文网页数据
🔥 Ultra-FineWeb-L1 正式发布 —— 现已开放 1T+ tokens 的高质量网页数据!
高质量数据是强大大语言模型的基础。Ultra-FineWeb-L1 现已作为 UltraData 生态的一部分开源,提供来自 Common Crawl、经过精细处理的英文网页语料。
面向更好的数据质量
1️⃣ 新鲜网页数据: 收集自最新的 Common Crawl 数据快照,覆盖至 CC-MAIN-2025-51,包含 1T+ tokens 和约 1.14B 条文档。
2️⃣ 精细处理流程: 结合文本提取、语言过滤、启发式过滤、敏感字段替换、去重和定制化清洗,以提升数据质量。
⚡ 亮点
1T+ tokens 的过滤英文网页数据
针对网页噪声、编码问题和异常文档进行增强清洗
定位为 UltraData 数据管理框架中的 L1 过滤层
与最新的 Ultra-FineWeb 更新保持一致
🔗 资源
🤗 数据集:Hugging Face
📄 论文:arXiv
🧩 分类器:UltraData