成果|线性注意力也会“抢活”?让全注意力层先学,长程检索更准
作者:Xingyu Shen, Yingfa Chen, Ziqing Qiao, Chaojun Xiao, Xu Han, Zhiyuan Liu
✨ 首次提出“竞争学习”现象:全注意力层与 RNN 层会抢学同一项长程检索能力,谁先学会,谁就压制其他层的学习信号
✨ 大模型训练中验证效果:提出 BLD 方法,在前 10% 训练中冻结 RNN 层,促进正确分工。模型语言建模和检索任务都大幅度提升。
✨ 模型内部分析:追踪模型内部注意力头,发现使用了 BLD 正确分工的模型,检索头明显更多。
论文与代码均已开源发布。
全注意力层原本更擅长长程检索,却可能在训练中被 RNN 层抢先。清华大学研究团队先在合成检索任务上观察到这种竞争,再把由此提出的训练方法用到最高 10 亿参数的语言模型上。只调整 RNN 层开始更新的时机,六个规模的混合模型都取得了更好的长程检索成绩。
背景介绍
越来越多的大语言模型把全注意力层与 RNN 层结合,形成混合架构。Qwen3.5-397B-A17B 采用 Gated DeltaNet 和全注意力,Kimi K3 采用 KDA(Kimi K3 使用的代表性 RNN 层)和 Gated MLA,NVIDIA Nemotron 3.5 Super 采用 Mamba 和全注意力。
这种设计背后有一个分工设想。RNN 层负责短距离 token mix,全注意力层负责长程检索,比如从几千个 token 之前找回一个名字或一段原话。已有研究观察到了训练后的功能分工。但从头预训练时,两类层会自然形成这样的分工吗?
我们用一道合成检索任务来观察训练过程。模型需要跨过 64 或 8192 个空格,复述开头的一串随机数字。通过替换模型在作答位置的某一层输出,我们可以估计这一层对找回正确数字的贡献。
直接训练|在合成检索任务上,RNN 层抢了先
两类层一起训练时,全注意力层起初也学到了一点检索能力。但随着 KDA 层追上并反超,全注意力层对检索的贡献很快降到了接近零。在这项合成任务中,原本希望交给全注意力层的检索工作,最后主要由 RNN 层承担。
图 1|合成检索任务上的训练曲线。红线是全注意力层,绿线是 KDA 层。纵轴衡量这类层对检索答案的贡献。源自论文图 2。
我们把这种现象称为竞争学习(Competing Learning)。如果在训练中途暂停更新 RNN 层,全注意力层还能把这项能力学回来吗?
冻结实验|RNN 层暂停更新,注意力层能追上来吗?
我们沿用同一道合成检索任务,在不同训练步冻结 KDA 的参数。冻结期间,KDA 仍参与模型计算,其他部分照常训练。全程共同训练时,全注意力层的检索贡献在短暂上升后跌到了接近零。及时冻结 KDA 后,全注意力层的检索贡献却继续上升。
更有意思的是解冻之后。我们把不同时间冻结的 KDA 都在第 500 步恢复更新。较早冻结的几组里,全注意力层已经积累了检索优势,恢复共同训练后,它的贡献还能继续提高。而在部分较晚冻结的组里,KDA 一恢复更新,全注意力层的贡献就又掉了下去。同样在第 500 步解冻,注意力层能不能保住检索工作,取决于它在此之前已经学到了多少。
图 2|合成检索任务上的冻结和解冻实验。左图比较不同冻结时点,右图在第 500 步统一恢复 KDA 更新。蓝紫色曲线对应较早冻结的组,虚线代表全程共同训练的基线。源自论文图 4。
梯度也跟着变了。和同一步的基线相比,冻结 KDA 后,全注意力层的梯度逐步变大。恢复 KDA 更新后,这种放大明显减弱。这与我们对竞争学习的解释一致:RNN 层学得有多快,会影响全注意力层还能收到多少学习信号。
在同一套合成实验里,我们还改变了长短距离题目的比例。长距离题目越多,全注意力层的检索贡献就越大。自然语言中的短距离模式更常见,而 KDA 在训练初期更容易利用邻近信息。这为 RNN 层为何容易抢先提供了一种解释,也引出了接下来的问题:在真实文本上预训练语言模型,能不能主动改变这种分工?
大模型验证|用真实语料预训练,让全注意力层先练一段
前两个实验在合成检索任务上观察训练机制。接下来,我们在真实文本语料 DCLM 上从头预训练了六个规模的 KDA 混合语言模型,参数量从 1.8 亿到 10 亿,检验这种训练干预能否改善语言模型的表现。
我们把这个训练方法称为 Better Layer Division(BLD)。在约前 10% 的训练 token 中,RNN 块保持冻结,全注意力块、词嵌入和末端归一化层继续更新。随后解冻 RNN 块,沿用已有权重,让所有层一起完成剩余训练。每个规模上的两组模型使用相同的架构、数据、token 预算和优化器调度。
六个规模的语言建模损失都下降了,Recall 和长上下文基准 RULER 的平均分也都提高了。以 10 亿参数模型为例,RULER 从 32.75 提高到 36.04,Recall 从 36.50 提高到 38.14,长上下文困惑度 LongPPL 从 7.69 降到 6.50。常识推理的变化更小,六个规模中有四个取得提升。把 KDA 换成 Gated DeltaNet 或 Gated Linear Attention 后,约 4 亿参数的模型也获得了检索收益。
图 3|在 DCLM 语料上预训练后的零样本评测结果。RULER 汇总了 1K 至 16K token 范围内的 57 项任务与长度组合。源自论文表 1。
大模型里的分工|从一个关键检索头,到三个
我们还检查了在真实语料上预训练完成的 5.1 亿参数模型。在长文档检索测试中,我们按注意力头对完整上下文的依赖程度从低到高排序,再依次限制它们能看到的上下文,观察检索准确率什么时候下降。
常规预训练的模型主要在最后一个关键 KV 头被限制时,检索准确率才明显下降。BLD 模型则在最后三个关键 KV 头被逐步限制时出现明显下降。这个结果表明,在所测的语言模型中,经过 BLD 训练,更多注意力头参与了长程检索。
图 4|5.1 亿参数模型的注意力头分析。左为常规预训练,右为 BLD。颜色越亮,代表该组注意力头越依赖完整上下文。同组的四个查询头共享一个 KV 头。源自论文图 9。
写在最后|谁先学会,谁就更容易主导检索
混合架构里的两类层会竞争学习同一种能力。先在检索上取得优势的层,会率先降低模型在这项任务上的预测误差,削弱其他层获得的学习信号,从而抑制它们学习检索。在合成检索任务中,RNN 层通常占据先机。但如果较早冻结 RNN 层,让全注意力层先建立检索优势,这种分工就可能在恢复共同训练后延续。
我们把这一发现用到了真实语料的预训练中。BLD 通过推迟 RNN 块开始更新的时机,让 1.8 亿到 10 亿参数的六个混合模型都取得了更好的检索成绩和更低的语言建模损失。在 5.1 亿参数模型上,注意力头分析还发现,承担长程检索的关键 KV 头从一个增至三个。
当然,这项结论也有边界:评测覆盖 1.8 亿到 10 亿参数的六个规模,更大模型上的表现仍待验证;现象主要在合成检索任务与 DCLM 语料上观察,其他数据分布下是否成立需要更多实验;BLD 的冻结比例与时长采用固定设置,成本与收益的权衡留待后续探索。
想亲自验证?可以 clone 代码仓库,在自己的混合架构上跑一遍 BLD;也欢迎把训练中观察到的“抢活”案例分享给我们,也许下一个问题就来自你的实验。
一句话:谁先学会,谁就更容易主导检索,所以先让对的那层学会。
✍️ 作者:Xingyu Shen, Yingfa Chen, Ziqing Qiao, Chaojun Xiao, Xu Han, Zhiyuan Liu
阅读原文链接:https://arxiv.org/abs/2610.26830