Ultra-FineWeb:为高质量大模型训练提供高效数据过滤与验证
随着大语言模型(LLMs)的快速发展,数据质量已成为提升模型性能的关键因素。模型驱动的数据过滤日益成为获取高质量数据的主要方法。然而,该方法仍面临两大挑战:(1)缺乏高效的数据验证策略,难以为数据质量提供及时反馈;(2)训练分类器所需的种子数据选择缺乏明确标准,且严重依赖人工经验,从而引入一定程度的主观性。为应对第一个挑战,我们引入了一种高效的验证策略,能够以最小的计算成本快速评估数据对 LLM 训练的影响。为解决第二个挑战,我们基于高质量种子数据有利于 LLM 训练的假设,通过整合所提出的验证策略,优化了正负样本的选择,并提出了一种高效的数据过滤流水线。该流水线不仅提高了过滤效率、分类器质量和鲁棒性,还显著降低了实验和推理成本。此外,为了高效过滤高质量数据,我们采用了基于 fastText 的轻量级分类器,并成功将过滤流水线应用于两个广泛使用的预训练语料库 FineWeb 和 Chinese FineWeb 数据集,从而创建了更高质量的 Ultra-FineWeb 数据集。Ultra-FineWeb 包含约 1 万亿英文词元和 1200 亿中文词元。实证结果表明,在 Ultra-FineWeb 上训练的 LLM 在多个基准任务上表现出显著的性能提升,验证了我们的流水线在提高数据质量和训练效率方面的有效性。