AutoRLBench：面向 RL 诊断与修复的智能体基准

2026-11-09

千里之堤，溃于蚁穴 — 《韩非子·喻老》

✨ 清华大学团队提出 AutoRLBench，一场统一的「RL 故障诊断与修复考试」：每个任务都是一段真实跑坏的强化学习训练，代码、配置、日志、指标原样保留，考智能体能否把根因找出来并且修复。

✨ 首期榜单十个前沿模型同场「会诊」RL 训练崩盘：最高分仅 40%，断档差距明显。

✨ 初版基准与实时榜单现已开放，诚邀社区贡献真实 RL「翻车」案例。

从 RSI 愿景回归现实

用 AI 研发并改进 AI（AI for AI）是迈向递归自我改进（RSI）的关键闭环，也是当下前沿实验室与顶尖科研机构争相押注的高地。尽管智能体已深度融入日常研发，现有进展却清晰表明：要实现真正的 AI for AI 还有很长的路要走。

目前 AI for AI 的评测多聚焦于「端到端完成任务」的黑盒视角，但要让 AI 真正实现自主迭代，就不能只看端到端的「总分」，而必须将研发链路拆解到细粒度环节，以精准定位模型的真实能力短板。

为此，我们锁定了大模型研发中最「玄学」、失败模式多样、策略空间极大的强化学习（RL）作为核心试金石——微小的分布偏移、隐蔽的奖励黑客，或底层的训推不一致，都会导致 RL 训练在毫无报错的情况下静默崩盘。

我们提出 AutoRLBench ——首个聚焦于 RL 全管线故障诊断与修复的细粒度智能体基准。我们考的不是「能不能把训练跑起来」，而是「当 RL 训练崩盘时，智能体能不能发现问题、定位根因、把它修好」。

如果把日常的 RL 训练比作实战，AutoRLBench 就是一本 RL 社区的「真实错题本」。

要构建这一细粒度的 RL 诊断与修复基准，靠单个团队始终无法穷尽所有复杂的训练翻车现场。为此，我们向社区发起广泛号召，诚邀广大研究者与开发者共建 AutoRLBench！

🛠️ 如果你手里正握着跑崩的 RL 训练，别让烧掉的算力白白沉没。把那条曾让你困惑一周的诡异曲线和事故现场交给我们，沉淀为基准中的下一道标准考题——贡献两个有效任务即可成为 AutoRLBench 论文 Co-author！

🚀 当然，如果你正在做 AI for AI 系统研发，也欢迎在现有基准上试水，看看你的 Agent 能不能顺利及格。

参与机构列表：诚邀广大研究者与开发者共建 AutoRLBench！

AutoRLBench 核心壁垒在于极致的数据质量，为确保基准真正反映生产级排障水位，我们在数据来源、案例深度与判卷机制上执行严格的品控标准。

每道题都应来自于真实生产训练中：workspace 原样保留跑崩时的代码、配置、日志和监控指标；再配一份隐藏的标准答案，清晰界定问题根因与相应的判据。按故障在 RL 管线中的位置，题目应覆盖六大故障域：

configuration：超参设置与协议错配，如学习率失当、熵系数失衡。

reward：奖励信号偏差，比如无条件的长度加分项，只教会模型把回答写长而非写对。

data：数据不合适，比如训练集太难、验证集太简单。

environment：外部环境与工具异常，如检索工具静默报错，悄悄拖垮训练。

algorithm：核心算法逻辑 Bug，如 GRPO 实现有误导致每个组都成了单例。

infrastructure：底层系统协同故障，如训推不一致直接导致训练崩盘。

真正有价值的 RL 考题，往往不是抛出显式报错直接退出，而是需要结合多维信号层层剥茧、深度推理才能定位根因的隐蔽错误，来看两道典型例题：

第一道，reward 题。表面的奖励从 +0.82 一路涨到 +3.84，分数冲出自己的量程。同时截断率从 0.8% 涨到 82.5%，回答长度从 4.1k 涨到 15.3k tokens，实际准确率反而从约 29% 掉到约 8%。模型学会的是长，不是对。

第二道，data 题。训练奖励从约 0.008 爬到 0.15，验证集准确率却收在 0.0380，甚至低于起点。病根是训练集太难、验证集太简单。这道题的难点在于，你得主动去比对训练与验证的难度构成，不只是盯指标。

每一道入选考题都必须支持在隔离容器中跑通三段式评测：Prepare 拉起隔离容器并挂载模型与数据；Agent 仅拿到任务指令和一份可写的 Workspace 副本，独立排查/修改；最后由 Verifier 介入闭环判卷。

第一级 Issue 评测（看证据链）：不仅看结论对不对，还要核验根因是否精准定位到具体的代码或数据位置、推导的证据链是否完整。

第二级 Solution 评测（重跑说了算）：Agent 必须亲自上手改代码、调参数，改完后系统会真实拉起并重跑训练，直接用核心指标阈值判分。

在刚刚上线的 AutoRLBench 首期评测中，十款国内外主流前沿模型（涵盖 Claude、Grok、GPT、GLM、Qwen、Kimi、Gemini、DeepSeek 等）同场开考，最高分仅约 40%，梯队断档显著！

通往 AI for AI 的道路，不仅需要能够写出训练代码的智能体，更需要看懂失败、修复失败的系统级能力。我们期待与社区同行一起，把每一次真实的训练踩坑，变成推动智能体进化的基石。