同一批教材只榨出一小勺！清华 StudyBench 量出自我进化效率

2026-09-14

当整个行业都在押注「自我进化」、把 RSI（递归自我改进）写进路线图时，一个最朴素的问题却少有人量化：喂给模型同样的原始材料，它究竟能把多少知识真正读成能力？

清华团队用 StudyBench 给出的答案很干脆：知识就在书里，缺的是把知识榨出来的方法。

🎯 核心发现：教材喂进上下文能拿满分，方法自训却只榨出个位数

🤔 意外之喜：算力烧到 600+ GPU·h ，仍早早触顶

💡 关键启示：缺的不是知识也不是算力，是把知识变成能力的那套方法

StudyBench 构造流水线：教材源到抽取、过滤，再到吸收与迁移两个测试面

➤ 论文链接

🔗 https://arxiv.org/abs/2609.00787

➤ 代码库

🔗 https://github.com/thunlp/StudyBench

背景：整个行业都在押注「自我进化」，却没人量过它到底学出多少能力

近期，从 Anthropic 高调谈论「80% 的代码可以交给模型自我进化」，到 OpenAI 对下一代 GPT 自进化能力的展望，再到智谱透露下一代 GLM 也要走自进化这条路，RSI（递归自我改进）从科幻词汇，变成了被认真写进路线图的目标。

道理很朴素、故事也很大：如果一个模型能不靠更多人工标注，自己把手里的原始材料读成能力、持续变强，那这条曲线的斜率几乎决定了未来。于是方法一个接一个，报告里的分也在不断上涨。

但在这片乐观里，一个被「涨分」两个字掩盖的问题很少有人追问：会做书里的题，和会做书本之外更难的题，衡量的根本不是一回事——涨上去的那部分，到底是真把书读透了，还是只把眼前这些题练熟了？

所以 StudyBench 回到一个更本质的问题：「自我进化」到底需要什么能力？说到底，是把知识吸收进来，再迁移到书本之外更难的问题上。我们把这条被合成一根的总分曲线，重新拆成吸收与迁移两项，同时排除模型自有能力和训练数据差异的干扰。我们选择在物理这个既能验证、又有清晰难度梯度的场景上，把这个落差真正量出来。

怎么造的：11 本书，六大竞赛，一条可达性保证

训练集是 11 本经典物理教材，约 6.0M tokens；从教材中整理出 1,420 道带答案题和 646 道无答案题。物理题具有答案可验证、难度梯度清晰、既考推理又考记忆的特点，因此被团队选中。

应用集（Application Set，88 父题 · 109 子题）只留 Qwen3-8B 做不稳的书内难题。迁移集（Transfer Set，90 父题 · 280 子题）取自 IPhO、APhO、IOAA、NBPhO、EuPhO、OPhO 六大国际赛事。

关键在于，每一道迁移题都过了一道可达性检验。研究者用一条五步教师流水线（拆解、检索、引导、验证、重试）给题配上由教材原文构成的解题指导，只有 Qwen3-8B 做不出，但加上解题指导后在 8 次里至少完整解出 1 次的题目，才纳入迁移集。这一步等于提前拿掉了「是不是题太难、训练集根本不够」这个借口。

团队设计两道过滤，是想把基准放在一个诚实的位置：吸收集不考模型早会的送分题，迁移集不收书里根本推不出的偏题。只有先把测试集的边界划干净，测出来的落差才有说服力。顺带一提，为了堵住模型靠死记硬背蒙答案的路，团队还对训练材料做了必要遮盖。于是一个把每一页都背下来的方法，恰恰拿不到它将被考到的任何一个答案。

主结果：在 Qwen3-8B 上，吸收集涨幅明显，迁移集几乎原地不动

表现最好的 GEPA 方法能让 Qwen3-8B 书内难题的 Par@8（大题 pass@8 正确率）从 17.05 涨到 34.85，差不多翻倍；可竞赛题的 Transfer Par@8 只有 7.04，还停在个位数。

同一个方法、同一套训练集，吸收集涨幅明显，迁移集几乎原地不动。基座换成 Llama-3.2-3B-Instruct 后，却连吸收也做不到。哪怕换上最强的底座，故事也没变好。Opus 4.7 的 base 在 Transfer Par@1 上本就有 40.00，可多数方法跑完非但没涨反而倒退——GEPA 41.11、EvoSkill 43.33 勉强打平，ACE 甚至掉到 33.33。连最强的底座，也没能靠「自我进化」把这批竞赛题顶上去。

Guidance Gap：带上原文指导后，仍然接近满分

Transfer Set 本身是 Qwen3-8B 带上原文指导后可以做对的题目，这些原文指导由 DeepSeek-V4-Pro 组合教材原文内容得到，并经过了检查，确保不会让 DeepSeek-V4-Pro 直接泄露答案或是教材没有的中间结果。

研究者做了个很直接的对照：把这些原文指导再次交给经过各种方法进化后的模型，再做同一批迁移集。结果是除了 Bonito 以外，其它方法仍然取得了 接近满分 的成绩。而 Bonito 的退化是因为它的训练方法损害了 Qwen3-8B 的思考能力，尽管如此，带上原文指导后 Bonito 仍然取得了高分。

团队给这道落差起名叫 Guidance Gap：把书喂到嘴边能拿的分，减去让方法自己训出来的分。差距越大，越说明方法没能把知识转化为能力。剩下那九成多的落差，怎么解读都绕不开同一句话——既不是训练集的问题，也不是模型天资的问题，而是把训练集变成能力的那套方法，没把它内化下来。

Compute Plateau：不断添加算力也没有更多收益

那会不会是算力烧得不够？我们获得了评测结果随训练过程的变化情况。

答案是几乎所有方法都在第一个 checkpoint 就触顶，再往后曲线基本走平甚至回落。

左滑查看更多内容

五条曲线各有走法，却收敛到同一句话：不是训练集不够、也不是算力不够，是方法不对。要换的，是那套自我进化的循环本身，而不是把同一套循环跑得更久。

这个工作想说什么

这不是要唱衰「自我进化」这条路，我们始终相信它值得做。

❌ 不是说：现有自我进化方法没用、训练没有效果。 ✅ 而是说：它们的增益大多停在「课后题」这一层，几乎迁移不到更难的题。

❌ 不是说：模型学不会这些物理。 ✅ 而是说：把书喂进上下文它就会（100.00），是「自己进化出来」这一步没做到。

❌ 不是说：多烧算力就能补上。 ✅ 而是说：不断添加算力仍早早触顶——要换的是 loop，不是训练时长。

写在最后：关于「榨取」

也许 StudyBench 最大的价值，是把一个一直靠「涨了多少分」来评价的开放式研究，变成一个可以精细衡量的目标：同一批教材，一边是原文就能提供的奥赛级别能力，另一边是方法榨出来的那一小勺，中间的落差第一次被揭露了出来。测得出来，才谈得上改得动。

对正在做自我进化的人来说，这把基准也许有两种用法：发现自己的方法在吸收集效果很好、迁移集却涨不动，那正好定位了它的天花板；也可能发现它恰是少数能把迁移顶上去的那一个，那就更值得写出来。两种结果，都是净收获。

更多细节请参阅原论文与开源仓库。