别再让智能体「瞎试错」：测试时「深度思考」，让机器真正学会探索隐含规则

清华NLP团队最新研究：如何让智能体在陌生环境中，像人一样开展实时探索：推理规则、打破试错循环

在大语言模型飞速发展的今天，让智能体与环境进行交互，并完成复杂任务已不是新鲜事。无论是手机网页的浏览、文字游戏，还是模拟具身智能的场景，都能看到智能体的身影。然而，一个关键问题依然棘手：智能体在一个「熟悉」环境里得心应手，可一旦进入存在「潜规则」的新环境，就极易陷入「瞎试错」的怪圈，反复碰壁，最终失败。

➤ 论文链接

🔗 https://arxiv.org/abs/2605.24828

现有方法多依赖训练中获取的知识或离线经验，但是在新环境中执行任务时，训练时的环境经验往往无法复用。如下图在 ALFWorld 环境中，智能体因为不了解「必须站在物体正前方才能交互」这一隐含规则，不断生成相似动作；因为不了解「不能同时拿两个物体」的隐含规则，不断尝试拿起第 2 个胡椒瓶，导致任务超时失败。

图：在ALFWorld环境中，智能体与环境交互的示意图

清华大学自然语言处理实验室（TsinghuaNLP）的最新研究成果——测试时探索（TTExplore）框架，正是要解决这一痛点。它赋予智能体一种「测试时深度思考」的能力，让其在执行任务的过程中，能够停下来分析、推理环境背后的「潜规则」，从而像一个不断获得经验的玩家一样，真正学会探索。

并非一味「行动」，而是会停下来「深度思考」

人与人解决问题时，通常不是莽撞地试错，而是会交替进行「快速行动」和「慢速思考」。TTExplore 框架的精髓，正是将这种认知模式显式地引入智能体。

框架内设计了两个核心角色：

执行者（Actor）：负责快速、直觉式的行动，类似于「系统 1」。

思考者（Thinker）：一个 专门训练出的7B参数模型 Exp-Thinker，负责慢速、深度的推理，类似于「系统 2」。

在任务执行过程中，执行者每进行若干步操作，思考者就会被激活。它会回顾整个交互历史，总结当前进度，更重要的是——推断导致失败的潜在环境规则，并据此提出修正后的行动计划。

图：TTExplore框架中，思考者（Thinker）定期介入，分析历史、推断规则、修正计划，引导执行者（Actor）的行动。

这就好比一位新员工（执行者）在操作一台陌生机器，当他连续按错按钮后，一位观察员（思考者）会走过来，看看他的操作记录，然后告诉他：「你一直按红色按钮没用，因为这个型号的机器需要先拨动左侧的绿色开关解锁。」——有了这条「潜规则」，新员工就能继续前进了。

训练一个「会思考」的模型：用最终结果反推思考质量

通过强化学习训练这样一个「思考者」角色并不容易。最大的挑战在于：如何评价一个「想法」的好坏？ 我们无法给一个「思考」直接打分。

为了解决这个问题，核心思想是：

间接奖励映射：用最终的任务完成情况，作为「想法」的间接奖励信号。

单节点聚焦：在每个训练轨迹中 只保留一个思考节点，从而将最终的成功或失败奖励，清晰地归因于这一个「想法」，极大地提高了训练的稳定性和效率。

通过这种方式，团队成功训练出了一个仅有 70 亿参数 的专业思考者模型——Exp-Thinker。它虽小，但「深度思考」的能力却非常强大。

实验结果：效果显著，甚至超越超大模型

研究团队在五个文本化的具身任务环境中对 TTExplore+Exp-Thinker 进行了严苛的测试，从中发现：

显著提升基础模型性能：将 Exp-Thinker 接入 Qwen2.5-7B 和 LLaMA3-8B 这样的基础模型后，平均性能分别提升了 14 个 和 19 个百分点。在一些任务上，基础模型的表现甚至被提升到了与专业微调智能体相当的水平。

为「熟练工」锦上添花：即使执行者模型已经在特定任务上被训练得非常出色（在 ALFWorld 上成功率高达 97.76% 的 Qwen2.5-Actor），Exp-Thinker 依然能在从未见过的新任务上为其带来平均 8 个百分点的性能提升（BabyAI）。这说明「深度探索」能力与传统的「任务训练」能力是互补的。

打破试错循环：定量分析显示，引入 Exp-Thinker 后，智能体的 行动和观察多样性显著提升，重复率大幅下降。这意味着它成功走出了「局部试错循环」，开始进行有意义的探索。

图：加入Exp-Thinker后（绿色线），智能体的行动和观察多样性显著提升，重复行为减少，探索行为更优。

启示：从「大力出奇迹」到「结构求突破」

TTExplore 这项研究的核心贡献，不在于刷新了基准测试的分数，而在于它提供了一条新思路：提升智能体能力，不止依赖更多的环境和数据，也可以从改进其 认知结构与决策流程 入手。

过去，我们更关心「如何让智能体做更多的事」；TTExplore 则追问：在遇到阻碍时，它能否像人一样停下来「想一想」，分析原因，并主动调整策略？

当智能体开始显式地推理「环境规则」，并在测试时动态地修正自己的内部模型，智能体和环境之间的互动就变了。不再是盲目的「行动-反馈」循环，而是观察、假设、验证——更像科学家，而不是掷骰子。

虽然论文聚焦于文本化具身任务，但其核心机制——将「探索隐含规则」与「执行任务」解耦，并用强化学习训练专门的「思考模块」——具备广泛的推广潜力。凡是智能体需在动态、未知、有规则可循的环境中决策的场景，如机器人控制、游戏AI、GUI 操作等，均可能从中受益。

TTExplore 不只是一次方法改进，更是一个提醒：当智能体走向更开放、更复杂的现实世界，我们不仅教会它们「怎么做」，更要赋予它们「想清楚再试」的智慧，这或许是通往更通用、更鲁棒智能体的一步。