CoDI：让大模型掌握部署时学习能力

2026-10-30

THUNLP 与北京理工大学、中国科学院大学、北京大学、北京航空航天大学、中国人民大学、OpenBMB 与 AI9Stars 合作完成的论文《Cognitively Decoupled Meta-Induction for Out-of-Distribution Generalization》于 10 月 27 日获得 EMNLP 2026 SAS Highlights。

EMNLP 2026 SAS Highlights获奖证书

该研究针对传统上下文学习依赖示例局部模式、跨任务归纳能力不足及分布外泛化受限的问题，提出了 CoDI（Cognitively Decoupled meta-Induction），通过认知解耦框架与双循环元归纳学习，将从少量示例中发现任务规律的元归纳能力转化为可训练的优化目标。实验表明，CoDI 在多项分布内与分布外推理基准上取得性能提升，并能够在推理阶段无需显式归纳规则的情况下保持分布外泛化收益。

成果论文

随着大语言模型不断走向真实应用，模型能力的提升不再只发生在预训练和后训练阶段，如何让模型在部署阶段持续学习并适应新任务，正在成为大模型重要的研究方向。理想情况下，面对一个从未见过的任务，模型不用重新训练，只需观察少量示例，就能发现其中的规律，并将其应用于新的问题。

这也引出了一个核心问题：模型能否通过学习不同任务，逐渐掌握从少量示例中发现规律的方法，从而更好地适应新任务？这就是「学习如何学习」（Learning to Learn）的核心思想。它关注的是模型通过在不同任务的探索试错，掌握一种可以迁移到新任务的归纳能力。这也是探索大模型自主学习与自进化的一条重要路径。

针对这一问题，团队提出了 CoDI（Cognitively Decoupled meta-Induction），通过认知解耦框架与双循环元归纳学习，将原本难以直接训练的「如何学习」转化为一个可优化的目标。

CoDI 的核心思想是：将元归纳能力作为训练优化目标，让模型从不同任务的探索经验中，学会如何从少量示例中发现规律，并将这种能力迁移到未见过的任务中。

CoDI 方法总览，上：认知解耦框架；下：双循环元归纳学习

➤ 论文链接

🔗 https://arxiv.org/abs/2610.25749

➤ 代码链接

🔗 https://github.com/Yuqian-Wang2277/codi-meta-induction

从「学习解题」到「学习如何学习」

传统的上下文学习（In-Context Learning，ICL）让模型通过少量输入与输出示例推断当前任务的规律，再据此回答新的问题。这种方式能够帮助模型快速适应新任务，但当问题的表面形式或数据分布发生变化时，模型仍可能依赖示例中的局部模式，而无法稳定地迁移已有知识。

CoDI 希望进一步解决这个问题：让模型学会的不是某一道题的解法，而是面对不同任务时，如何找到有效解法的方法。这里存在两个层次的学习：

任务归纳（Task Induction）：从当前任务的少量示例中提炼规则，学习如何解决这一类问题。

元归纳（Meta-Induction）：从不同任务的归纳经验中学习，逐渐掌握如何发现规律、组织规则，并将其应用于未见过的任务。

两者的区别在于：前者学习的是具体任务的规则，后者学习的是产生规则的方法。

为实现这一目标，CoDI 引入了 任务级归纳表征（Task-level Inductive Representation，TIR）。简单来说，模型需要先把多个示例中共同的规律提炼出来，再将规律转化为能够实际执行的求解策略，而不是仅仅复述示例或生成一段看似合理的解释。通过这样的设计，CoDI 将研究重点从「如何让模型回答得更好」，推进到「如何让模型形成更好的学习方法」。

让元归纳能力成为可训练目标

要让模型真正学会归纳，首先需要解决一个问题：如何区分一条真正有用的规则与一条仅仅听起来合理的规则？

CoDI 的思路是，不直接要求模型模仿某个标准答案式的规则，而是 让模型生成规则，再通过规则解决问题的实际效果来判断规则是否有效，并利用这些反馈不断优化规则生成过程。

为此，CoDI 设计了两个相互配合的机制：认知解耦与双循环元归纳学习。

01 认知解耦：把「发现规则」和「执行规则」分开

在普通的解题过程中，模型可能一边看着待解问题，一边生成解释和推理步骤。这样生成的规则容易受到具体问题中某些线索的影响，甚至只是为当前问题量身定制，而不一定能够迁移到其他问题。

CoDI 将这一过程中的两种能力解耦：

策略生成（Strategy Generator，SG）：只根据少量支持示例归纳任务规则，不接触当前待解问题，避免规则生成受到查询内容的干扰。

答案求解（Answer Solver，AS）：接收归纳得到的规则和具体问题，按照规则完成求解。

这种设计的关键在于：规则不能只对眼前的问题有效，还需要能够指导模型解决新的问题。由于求解器保持冻结，训练过程可以更加直接地考察策略生成过程所产生的规则是否真正有用。

02 双循环学习：让模型在实践反馈中学会元归纳

有了规则生成与规则执行的分工，接下来的问题是：模型应该怎样改进自己生成规则的方式？

CoDI 提出了 双循环元归纳学习（Dual-Loop Meta-Inductive Learning）。可以把它理解为一个不断试错、检验和改进的过程：先生成不同的规则，让模型实际执行，再根据执行结果判断哪些规则更有效，最后反过来训练规则生成器。

内循环：检验规则是否有效。策略生成器根据支持示例生成多个候选规则，冻结的答案求解器分别执行这些规则，并返回答案准确率与输出概率等信息。通过实际表现，而不是规则的文字表述，评估其价值。

外循环：优化规则生成能力。根据内循环提供的反馈构建奖励信号，再利用 GRPO 强化学习更新策略生成器，让它在不同任务中逐渐学会产生更有效、更具迁移性的规则。

这套机制的关键在于，模型不是被告知一条标准规则应该怎么写，而是通过规则能否真正解决问题来学习什么样的归纳方式更好。

双循环学习能否有效运行，很大程度上取决于奖励设计。对于一条归纳规则，即使它的表达与参考答案不同，只要能够有效解决问题，就应该得到认可。因此，CoDI 不依赖唯一的标准规则文本，而是通过两个 互补的奖励信号 来评价候选策略。

1）执行增益奖励：Execution Incremental Reward，EIR

EIR 核心关心的是：应用当前生成的这条规则后，模型是否真的比原来做得更好？

它将候选策略的答案准确率与当前任务的基线表现进行比较。如果一条规则提高了答案准确率，就获得正向的执行增益；如果反而降低了准确率，就受到负向反馈。考虑到不同任务的难度和基线表现不同，CoDI 进一步对增益进行难度自适应归一化，并使用对数压缩控制极端奖励对训练的影响，得到 EIR：

这一设计让奖励不仅取决于策略能否答对，还取决于它相对于任务基线带来了多少实际改善，同时降低不同任务难度和极端增益对训练的干扰。

2）内部置信度奖励：Internal Confidence Reward，ICR

准确率能够告诉我们规则有没有带来提升，但仅凭准确率，还难以区分稳定有效的策略与偶然答对的策略。为此，CoDI 进一步利用冻结求解器生成答案时的 token 概率，衡量其输出置信程度。具体来说，ICR 计算生成序列中各 token 条件概率的几何平均:

通过对数概率的长度归一化，ICR 能够衡量求解器对生成结果的平均置信程度，减少序列长度带来的影响。但此时仍有一种可能，即 模型对答案越有信心，并不意味着答案一定正确。因此，ICR 是对执行效果的补充，而不是对准确率的替代。

3）将实际执行效果与输出置信度结合

EIR 反映规则是否真正带来性能提升，ICR 则进一步调节奖励幅度。两者通过乘性方式结合：

ICR 可以调节奖励的大小，但不会改变 EIR 的正负方向。带来性能提升的规则获得正向奖励，造成性能退化的规则仍然受到惩罚。

通过这套奖励机制，CoDI 将「什么样的规则更好」转化为一个可以通过实际表现持续优化的问题。 模型不需要学习唯一正确的规则表述，而是能够在跨任务的实践反馈中，逐渐改善生成规则的方法。

元归纳能否带来更好的泛化？

研究在 BBH、BIG-Bench、MATH-500、StrategyQA 和 ReClor 等基准上评估 CoDI，覆盖不同类型的推理任务，CoDI 取得以下结果：

五个bench上的实验结果，CoDI 在三个开源骨架上均取得分布内与分布外的性能增益

研究还在 Gemma-3-4B 和 Llama-3.1-8B 上观察到了 OOD 性能提升。这表明，通过训练模型的归纳能力，所获得的收益并不局限于单一模型骨架或特定任务。

01 小模型也能实现更强泛化

一个值得关注的结果是：在固定 Qwen3-4B 求解器的条件下，经过元归纳训练的 CoDI-4B 策略生成器在 BIG-Bench OOD 上达到约 62% 的准确率，超过未经训练的 32B 策略生成器的约 57%。这一结果说明，模型的泛化能力不完全由参数规模决定，专门训练模型如何归纳也可能成为提升能力的重要途径。与单纯扩大模型规模相比，CoDI 尝试从学习机制本身入手，让模型更有效地利用少量示例。

分布外准确率随归纳器参数规模的变化，训练后的4B反超32B

02 元归纳让规则归纳更加稳定

如果模型真的学会了归纳，那么当某一个示例发生变化时，它生成的规则应该不会轻易改变。

为验证这一点，研究采用Leave-One-Out（LOO），每次移除一个支持示例，观察归纳规则的变化程度。实验发现，训练后规则的平均 LOO 敏感度 从 0.325 降至 0.087，下降约 73.4%。这说明，经过元归纳训练后，模型更倾向于整合多个示例中的共同规律，而不是因为某个示例的变化就改变整个判断。

分析删去任一示例后重新生成规则所引起的语义漂移，颜色越深表示规则对该示例依赖越强

03 推理过程更简洁且更关注规则

CoDI 的收益并不只是答案准确率的提升。独立的 OOD 推理轨迹分析显示，CoDI 的准确率相对提升约 104%，推理长度减少约 21%，示例复述相关单元减少约 51%，与规则形成相关的状态转换增加约 42%。这些结果表明，性能提升并不一定依赖更长的推理链。模型可能通过减少对示例表面内容的复述，将更多计算用于提炼和执行任务规律，从而更有效地解决问题。

训练前后推理轨迹的相对变化。准确率提升 104% 的同时思考过程变短 21%，示例背诵片段减少 51%，转向显式规律的转换增加 42%，说明增益来自规则驱动而非更长的推导

迈向可训练的元归纳能力

从有限示例中发现规律，是模型学习新任务的重要能力；而从不同任务的学习经验中，进一步学会如何发现规律，则指向更高层次的元归纳能力。CoDI 通过认知解耦与双循环元归纳学习，将这种能力转化为可训练的优化目标，并通过多项分布外实验验证了其有效性。

从「学会解决问题」到「学会如何学习」，CoDI 探索的核心，是让元归纳能力成为可以训练、可以优化，并能够迁移到新任务中的模型能力。这为大模型在部署阶段适应新任务，以及进一步探索自主学习与自进化机制，提供了一条值得关注的研究路径。