Don't Stop LCCP:长文本持续预训练,别太早喊停
作者:Ziqing Qiao, Xiaoyue Xu, Sikui Zhang, Yinuo Xu, Bingxiang He, Chaojun Xiao, Xu Han
✨ 首次为「先短后长」预训练范式拟合出长文本性能的 Scaling Law:模型规模×短文本量×长文本量,三个变量一次建模,外推误差不到 2%
✨ Constant-Last4 协议:一条能延伸、能稳定观测的训练轨迹,不用换预算从头训
✨ 收益持续且带得走:32K 多跑的预算,128K 扩展、长文本 SFT、Agentic 任务里都还在涨
项目进行中,论文、代码与模型均已公开。
近年来训练长文本模型,常见的做法是:短文本预训练跑完,再加一个「扩展」阶段(long-context continual pre-training, LCCP),用长序列数据继续训练一小段——可能几十亿、上百亿 token。这个阶段通常很短。大家普遍认为,有限的长文本数据已经能够比较充分地训练好大模型的长文本性能,没必要像短文本预训练那样持续扩大规模。但在长程任务愈发重要的今天,也许值得问一句:如果接着跑下去,模型长文本性能是否仍会有持续收益?我们是否常常在半程就喊了停?我们在 5 个模型规模、100+ 个训练配置上做了一次系统实验。我们成功拟合了先短后长预训练范式中长文本性能的 Scaling Law,在 1B 规模模型上持续监测了 100B LCCP 训练轨迹及其带来的持续收益,并在大量下游长文本任务及 Agentic 任务上验证了这一收益的持续性。核心发现是:长文本持续预训练,别太早喊停——收益看得见、算得准、带得走。
本文的论文、代码与模型均已开源发布。
为什么关注长文本能力的训练?
长文本能力是大模型的基础能力之一,支撑着复杂的长距离任务和 agentic 工作流。但从预训练开始就用长序列训练的成本很高。所以现在的主流做法是:短文本(如 4K)预训练跑完,再用长序列数据(32K / 128K)做持续预训练(LCCP),把上下文窗口拉长,提升长文本性能。不少工作采用「相对有限的训练量」来扩展上下文窗口。也有一些大模型把长文本训练的预算开到了万亿 token 量级。但长文本性能如何随着 LCCP 训练 token 数扩大而提升,这个问题还没有得到充分刻画。于是我们问:持续扩大 LCCP 规模,是否能带来持续的长文本能力改善?这些收益能不能提前算出来?
联合三个变量的长文本性能 Scaling Law
与从零开始的预训练不同,LCCP 的起点是一个已经学过基本能力的模型——这意味着它的长文本性能可能同时取决于模型规模、短文本预训练用了多少 token、以及长文本训练用了多少 token。我们同时建模这三个变量:非 embedding 参数量 N、短文本预训练 token 数 Ds、长文本训练 token 数 Dl。用 LongPPL 作为长文本性能的代理指标,在 5 个模型规模、109 个训练配置上进行拟合和外推,发现带偏移项的加性幂律公式能准确捕捉观察到的趋势。
我们进行了两组外推实验,在 S1–S3(31M–104M 非 embedding 参数)模型规模上拟合,外推到 S4(245M 非 embedding 参数),并在 S1–S4 上拟合然后外推到 S5(821M 非 embedding 参数 / 1.22B 总参数)。结果:S1–S3 → S4 外推,R²=0.97,MAPE=1.4%;S1–S4 → S5 外推,R²=0.95,MAPE=1.7%。这样一个简洁的尺度律成功拟合了不同模型规模、短文本与长文本数据量下的模型长文本性能,我们将其理解为一个有限范围内的 scaling law。这条 scaling law 的意义在于:如果你知道模型规模、短文本预训练跑了多久、打算给长文本训练多少预算,它能提前告诉你长文本性能大概会是多少。
Constant-Last4:一个能延伸、能稳定观察的协议
有了 scaling law,接下来要解决的是:LCCP 怎么才能持续跑下去?如果要在一条真实、不断延长的训练轨迹上持续观察长文本性能,该怎么做?
传统的 LCCP 过程要么采用带有 decay 策略的学习率,其性能稳定且效果可靠,但需要提前规定 LCCP 阶段的训练量,不方便灵活续训。要么采用 constant 学习率,其支持随时续训,但我们实测性能表现相较于 decay 策略学习率波动大且各项 PPL 指标显著更高。
因此,我们引入 Constant-Last4 协议:训练时用 constant 学习率,观测时把最近连续 4 个 checkpoint 的权重平均(我们称为 Last4)。结果表明,在这种训练观测协议下,性能波动消失了,并且与 decay 策略的 PPL 指标几乎完全一致。
Constant-Last4 使得我们能够拥有一条可延伸的可靠训练轨迹。在 S5 上,我们从 Ds=450N 起步,用 constant 学习率一路跑到 Dl=120N(约 100B 长文本 token),每隔一段保存 checkpoint 并用 Last4 方式观测。这条轨迹的训练数据量达到了拟合集内最大预算的 8 倍以上,但 scaling law 的预测依然准确。更进一步:如果只用轨迹前 40N 的数据拟合,能不能预测后面 120N 的表现?我们的实验结论显示:能。这意味着你不用跑完全程就能提前算出终点在哪。
收益持续,带得走
毕竟 LongPPL 还只是长文本性能的代理指标,LongPPL 降了,在下游长文本任务上的性能真的有端到端的提升吗?我们对不同的长文本训练预算,不仅测试了其在 32K RULER 任务中的性能,还在 128K 上下文扩展、长文本 SFT 以及 Agentic SFT 后,在多项主流的长文本、智能体评测任务上验证不同 LCCP 训练量带来的模型能力变化。
RULER-32K 评测显示:Constant-Last4 的 RULER 分数呈现持续上升趋势,在评估范围内未见饱和迹象。128K 扩展后:32K 训练预算越大,128K 扩展后的表现越好。这说明 32K 阶段多跑的那些 token,收益能带到 128K 去。SFT 后:下游性能随着 LCCP 预算增大而改善。我们不仅在长文本 SFT 后、长文本相关下游任务上观察到这个趋势。我们在进行了 Agentic SFT 后,在工具调用以及搜索相关的智能体任务,如 tau²-telecom、GAIA、BFCL-WebSearch 上,都观察到了模型性能的持续提升。
写在最后
Don't Stop LCCP 不是要证明「长文本训练永远有收益」。它想提醒的是:在喊「够了」之前,先看看曲线走到哪了——也许你以为的终点,只是半程的补给站。换句话说:我们给长文本持续预训练装了一块「仪表盘」——你可以在跑之前便给出预测,甚至边跑边看,而不用每次都换预算从头训一遍。如果你正在训练长文本模型,不妨试试:先把 LCCP 跑充分,用 Constant-Last4 稳定地看,用 scaling law 提前算,看看它能带你走多远。