当人类意见不止一个答案，Reward Model 还应该只给一个分数吗？

2026-09-30

想象这样两组评价：

第一组里，所有人都给一个回答打了 3 分。

第二组里，一半人打 1 分，一半人打 5 分。

它们的平均分都是 3。

但显然，这两个「3 分」表达的是完全不同的事情——前者意味着大家基本达成了共识，后者意味着评价高度分裂。

对于今天的大多数 Reward Model 来说，这两个情况却很可能最终都被压缩成一个相近的 scalar reward。

这也是 Diffusion Reward Models（DRM）这项工作的出发点。

为什么 Reward Model 需要「分布」？

Reward Model 是大模型 RLHF 和后训练中的核心组件。无论是传统的 discriminative RM，还是很多 generative judge，最终往往都需要把一个 prompt-response pair 映射到一个确定的 reward。

这实际上隐含了一个很强的假设：

对于同一个回答，存在一个稳定而唯一的「真实分数」。

但真实的人类偏好未必如此。

不同标注者可能因为价值取向、评价标准、rubric 理解，以及 helpfulness 与 harmlessness 之间的权衡，对完全相同的回答形成不同、甚至彼此冲突的判断。将这些评价直接平均为一个点，不仅抹去了不确定性，也可能把真正存在的多峰结构一起消掉。

基于这一观察，来自 清华大学 的研究团队提出了 Diffusion Reward Models（DRM）：

不再让 Reward Model 只预测「一个 reward」，而是直接学习完整的 reward distribution。

➤ Paper

🔗 https://arxiv.org/abs/2609.33803

➤ Code

🔗 https://github.com/thunlp/DRM

➤ Model

🔗https://huggingface.co/Teburile/DRM

从一个分数到一个分布：Reward Model 丢掉了什么？

目前主流 Reward Model 大致可以分成几条路线：

最常见的 discriminative RM：通过 Bradley-Terry 等目标学习 preference，最后输出一个标量分数。

multi-objective RM：把 helpfulness、correctness、harmlessness 等因素拆成多个维度，但最后在实际决策中通常仍然需要重新聚合。

distributional Reward Model：例如预测 Gaussian 的均值和方差，或者预测一组 quantiles。

这些方法已经开始承认：Reward 不一定是一个完全确定的点。

但问题并没有完全解决——

Gaussian 天然是单峰的；固定 quantile grid 又提前规定了描述分布的方式。换句话说，在模型真正看到数据之前，我们已经先替它决定了「reward distribution 应该长什么样」。

如果真实人类偏好本身可能存在多个峰，那么这种固定的参数化假设就可能成为新的瓶颈。

于是研究团队换了一个思路：

能不能干脆不预设 reward distribution 的形状？

这自然把问题引向了 Diffusion Model。

方法：把 Diffusion Model 放进 Reward Space

DRM 的核心改动其实非常直接：

保留 LLM encoder，但把传统的 scalar value head 换成一个轻量的 Diffusion Reward Head。

给定 prompt x 和 response y，冻结的 LLM encoder 首先提取语义表示；随后，一个轻量的 Diffusion Transformer（DiT）不再直接回归一个 reward，而是学习如何从 Gaussian noise 中逐步恢复 reward sample。

反复采样后，就可以得到一个经验 reward distribution。

换句话说：

传统 RM

DRM

输入一个回答 → 输出一个分数

输入一个回答 → 得到一组可能的 reward → 形成一个分布

因此，同一个回答既可以表现为一个非常集中的分布，也可以出现较大的方差，甚至形成多个明显的峰。

DRM 训练和推理流程

训练阶段，LLM Encoder 的 hidden state 作为条件输入 Diffusion Reward Head；推理阶段，则从多组 Gaussian noise 出发进行 DDIM sampling，最终形成经验 reward distribution。

为什么冻结 Encoder？

研究团队并没有重新训练整个 LLM，而是直接冻结已有 Reward Model 的 encoder，只训练轻量的 Diffusion Reward Head。

这样做一方面能够保留原有 LLM representation 中已经学到的语义信息；另一方面，也让实验能够更加干净地回答一个关键问题：

如果 backbone 和训练数据不变，仅仅把 reward head 从 deterministic / parametric 换成 diffusion，会发生什么？

一套架构，同时处理两种 Reward Supervision

Reward Model 的训练数据通常并不统一。一些数据集会直接提供多维属性分数，例如 helpfulness、correctness、coherence 等；另一些数据则只有 chosen / rejected 这样的 pairwise preference。

DRM 设计了两个版本：

DRM-Multi-8B：使用 multi-attribute reward supervision，统一在一个 19 维 reward space 中训练

DRM-Pref-8B：直接训练在 pairwise preference 数据上

对于 multi-attribute 数据，很多样本只标注了部分属性，因此 DRM 使用 mask，让没有标注的 reward dimension 不参与 denoising loss。

对于 pairwise preference，由于不存在显式的绝对 reward label，论文构造对称的 pseudo-reward target，并在 diffusion denoising objective 之外加入 Bradley-Terry ranking objective，保证 preferred response 的 reward 高于 rejected response。

这样，两种看起来不同的 Reward Modeling 范式，就被统一到了同一个「在 reward space 中学习 conditional distribution」的框架里。

实验一：Diffusion Reward Head 本身有没有用？

在提出一个新的 Reward Model 之后，最容易出现的问题是：

结果变好，到底是模型结构有效，还是因为数据、backbone 或训练规模不同？

因此，论文首先做的是一个尽可能受控的比较。

DRM-Multi 使用与 ArmoRM 相同的 multi-attribute corpus，并沿用 FsfairX-LLaMA3-RM-v0.1 的 encoder。也就是说，在这一比较里，核心变化集中在 reward head。

论文在 RewardBench v2、PPE、RMB、RM-Bench 和 JudgeBench 五套 Reward Modeling benchmark 上进行了评测，覆盖 chat、instruction following、math、code、factuality 和 safety 等不同类型的能力。

DRM 多 Benchmark 评测结果

结果显示：

模型

平均得分

ArmoRM

62.3

QRM

64.1

DRM-Multi-8B

66.2

DRM-Pref-8B

65.8

其中 DRM-Multi 在 RMB Pairwise 上达到 78.0，DRM-Pref 达到 78.2。

这里最重要的并不是说 DRM 在每一项 benchmark 上都取得最高分——事实上并不是。

真正有意义的是那个 controlled comparison：

当训练数据和 backbone 被尽量固定后，仅改变 reward head，Diffusion Reward Head 相比 scalar head 和固定 quantile head 仍然带来了整体提升。

实验二：人类偏好真的存在「多峰」吗？

这是整个逻辑链里非常关键的一步。

如果所谓「multimodal human preference」只是一个漂亮的 motivation，但真实标注其实都只是围绕某个均值做轻微随机波动，那么引入 Diffusion 就没有太大必要。

因此，团队首先没有看 DRM，而是先看真实的人类重复标注。

论文使用了两个包含 repeated annotations 的数据集：

HelpSteer2-Disagreements：同一个 prompt-response 有多个 pointwise rating

MultiPref：同一个 response pair 有多个 preference judgment

研究者不只计算方差，而是进一步观察三个更有结构意义的现象：rating range、separated clusters 和 polarization。

结果显示，在 HelpSteer2 的 helpfulness 维度上：

43.49% 的样本评分范围至少跨越 2 分

28.20% 出现明显 separated clusters

24.34% 同时存在低分和高分评价

在 MultiPref 上，45.64% 的整体 preference 样本同时出现了方向相反的判断。

这组实验想回答的是：

人类分歧并不一定只是「3.1、3.2、3.3」这种均值附近的小噪声，它可能真正形成分开的评价簇。

如果数据本身就是多峰的，那么只预测一个 point estimate，甚至只预测一个 unimodal Gaussian，就必然会损失一部分信息。

DRM 学到的是「分布」，还是仅仅学会了随机？

接下来还有第二个问题。

Diffusion 本身就是 stochastic 的。因此如果模型每次能 sample 出不同 reward，并不能自动说明它学到了人类分歧。

最简单的反例是：模型可能只是给所有样本都加了一团差不多的随机噪声。

所以论文做了两层验证。

第一层：预测分布和真实人工分布到底像不像？

研究团队把 DRM 在 HelpSteer2-Disagreements 上生成的 reward samples，与同一回答对应的 repeated human ratings 形成的 empirical distribution 进行比较。

并使用 Wasserstein distance、JS divergence 和 L1 distance 衡量二者之间的差异。

在 helpfulness 上，DRM 的 Wasserstein distance 为 0.804，低于 empirical prior 的 1.030、global Gaussian 的 1.032 和 pointwise baseline 的 1.032；JS 和 L1 上也取得最小距离。

这意味着 DRM 并不是简单学习了一个「全局大家都有多不确定」的模板，而是在根据具体的 prompt-response 调整自己的 reward distribution。

🔥 更关键的实验：人越有分歧，DRM 也越「分裂」

如果 DRM 真正在捕捉 human disagreement，那么应该存在一个非常自然的预测：

人类意见越分裂，DRM 输出的 reward distribution 应该越容易出现多峰。

论文直接检验了这个预测。

研究团队按照 repeated human ratings 的 disagreement 强度给样本分组，然后统计 DRM 输出的 multimodal ratio。

结果非常清晰：

DRM 多峰程度随人类分歧增强

对于 helpfulness：

人类分歧较小时：37.6%

rating range ≥ 2 时：55.5%

出现明显低—高 polarization 时：63.2%

Correctness 同样从 37.6% → 54.7% → 62.0%。

也就是说：

Human disagreement 越强，DRM multimodality 越明显。

这一步让整个论证链条闭合了：

真实人工标注存在结构化分歧 → DRM 输出分布能够贴近人工分布 → 人工分歧增强时，DRM 的多峰程度也同步增强。

实验三：完整的 Reward Distribution 能做标量 Reward 做不到的事吗？

如果最终还是把 distribution 求个 mean，再当成 scalar reward 使用，那么整个方法的价值仍然会被大幅削弱。

因此，论文专门设计了两类 distribution-aware decision making 实验。

场景一：允许模型「不确定时先别判断」

如果系统允许 abstention，那么最自然的问题就是：

Reward distribution 能不能告诉我们，哪些 decision 本身不可靠？

在 Best-of-N 中，论文不仅比较第一名和第二名的 mean reward，还利用两者完整的 reward samples，估计 runner-up 超过当前 winner 的概率。

如果两个 distribution 大量重叠，即使 mean 差了一点，这个选择实际上仍然很不稳定。

然后研究团队做了一件非常直接的事情：

按照不确定性排序，优先拒绝最不确定的样本。

当 coverage 从 100% 降到 70% 时：

PPE Correctness 五个子任务平均提升 2.81 个百分点

RMB 的 Helpfulness / Harmlessness、BoN / Pairwise 设置提升 4.56～7.31 个百分点

这个实验说明：

方差和 distribution overlap 并不是装饰性的统计量，它们确实携带「这次判断靠不靠谱」的信息。

场景二：不能拒答，那就把「稳不稳」也算进 Reward

实际 Best-of-N 中，很多时候系统必须从所有 candidate 里选一个，不能说「这题我不确定」。

因此论文进一步设计了一个 full-coverage 的实验。

核心思想非常简单：不要只奖励 mean 高的 response，同时稍微惩罚 distribution 特别不稳定的 candidate。

论文使用 Lower Confidence Bound（LCB）进行风险敏感聚合，在 reward mean 上减去一定比例的标准差。

这样一来：

一个「平均分很高但波动特别大」的回答，就不会轻易战胜一个「平均分略低但判断非常稳定」的回答。

结果显示，在论文测试的 PPE 和 RMB Best-of-N 设置中，LCB 均优于只使用 mean 的 ranking；例如 PPE BoN 在 candidate 数从 2 到 32 的所有设置下都取得正向提升。

一个新的 Scaling 方向：不多生成答案，多「想一想这个 Reward」

大模型时代大家已经非常熟悉 Test-Time Scaling。

传统 Best-of-N 的思路是：生成更多 response，然后让 Reward Model 从里面选。论文把它称为 response-axis scaling。

但 DRM 带来了第二条完全不同的轴：reward-axis scaling。

对于同一个固定的 prompt-response，不需要生成任何新的回答，只需要从 Diffusion Reward Head 中多采几个 reward sample。

随着 sample 数量增加，对 reward distribution 的经验估计会越来越稳定。

在 RewardBench v2 上：

DRM reward-axis scaling 效果

DRM-Multi 从单个 reward sample 时的 56.5%，一路提升到 32 个 samples 时的 65.6%

DRM-Pref 则从 64.4% 提升到 65.7%

这个视角很有意思：

过去，Inference-Time Compute 通常被花在「生成更多答案」上。

DRM 提供了另一种选择：

答案不变，把更多计算花在「这个答案到底应该得到什么 reward」上。

也就是说，Reward Model 本身也第一次有了一个天然的 test-time compute knob。

最后一步：Benchmark 上的优势，能真的传递到 RLHF 吗？

到这里，还有一个很重要的验证没有完成。

一个 Reward Model 在 offline benchmark 上分数更高，并不意味着用它训练出来的 policy 一定更好。

因此团队最后把 DRM 真正放进了 RLHF pipeline。

实验固定：

相同的 Tulu3-8B-SFT 初始 actor

相同的 RLHF training setup

相同的数据来源

只替换 training-time Reward Model。

对比 ArmoRM、FsfairX 和 DRM-Multi，结果是：

模型

Arena-Hard v2

MT-Bench

Tulu3-8B-SFT

1.0

59.4

+ArmoRM RLHF

1.0

71.5

+FsfairX RLHF

1.3

73.6

+DRM-Multi RLHF

2.0

74.8

这一结果很重要，因为它把论文从「一个新的 RM benchmark 方法」继续推到了实际 policy optimization：

distributional reward 的收益，并没有在 offline scoring 结束，而是能够继续传递到 RLHF。

从「打一个分」到「描述一种评价分布」

回过头看，DRM 真正想改变的，其实并不只是 Reward Model 的最后一层网络结构。

它挑战的是 Reward Modeling 中一个非常基础的默认设定：

一个回答是否真的存在唯一的正确 reward？

如果所有标注者都认为一个回答「中等」，和一半人非常喜欢、一半人非常讨厌，最终都被压成同一个平均分，那么 Reward Model 就主动丢掉了一部分可能对后续决策非常重要的信息。

DRM 的思路则是：先把这部分信息留下来。

Diffusion 只是实现这一目标的一种工具。

真正关键的变化，是把 Reward Modeling 从：

point estimation

重新表述为：

conditional density estimation。

论文后续的实验依次回答了三个问题：

1. 人类偏好中的多峰和分歧真的存在吗？Repeated annotation 给出了肯定答案。

2. DRM 真的学到了这种结构，而不是随机输出吗？预测分布与人工分布的距离，以及「human disagreement 越高、DRM multimodality 越高」的现象给出了进一步证据。

3. 这些 distributional information 有实际价值吗？Uncertainty-aware rejection、risk-sensitive ranking、reward-axis test-time scaling，以及最终的 RLHF 实验，都说明 mean 之外的信息确实可以被进一步利用。

所以，这篇工作的核心问题也许可以归结成一句话：

Reward Model 不应该只告诉我们「这个回答有多好」，它还应该告诉我们：「人们可能会怎样评价它，以及这个判断到底有多确定。」

➤ Paper

🔗 https://arxiv.org/abs/2609.33803

➤ Code

🔗 https://github.com/thunlp/DRM

➤ Model

🔗 https://huggingface.co/Teburile/DRM

欢迎大家关注、交流与讨论。