SOAR 周冠军笔记 07 | 香草小张：NVFP4 量化改进与推测解码实践

2026-05-01

编者按·效率与吞吐

本周 SOAR 2026 周赛中，“香草小张”队伍凭借对量化工程与推理流程的深度打磨斩获冠军。本次复盘聚焦于 NVFP4 权重量化精度改进与 Medusa 推测解码适配。通过引入 FourOverSix 自适应策略，团队巧妙解决了低比特量化在特定数值区间表示密度不足的问题；同时针对 MiniCPM-SALA 的混合注意力架构，攻克了 GLA 递推状态在 tree verify 流程中的管理难题，实现了 decode 吞吐的稳步提升。

从量化分布的精细调优到复杂架构的状态分叉处理，这一实践证明：高性能推理不仅来自单点论文方法的迁移，更来自对模型结构细节的深度解构与重构。这篇复盘为大模型推理优化提供了极具务实意义的工程参考。

文章速览

本文主要回顾两件事：

NVFP4 权重量化精度改进：通过 FourOverSix 自适应 block scale 选择，降低低比特量化误差。

Medusa 推测解码适配：在 MiniCPM-SALA 的混合注意力架构上，让 tree verify 正确处理 GLA 递推 state。

量化：FourOverSix 自适应 block scale 选择：01 问题背景：NVFP4 标准量化的误差来源

我们的基础量化路线是：

GPTQ + NVFP4（FP4 E2M1） + Marlin W4A16 decodeNVFP4 的可表示值为：

{0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6}

它的最大绝对值是 6。标准 NVFP4 量化时，每个 block 的权重会被归一化到 [-6, 6] 的完整 FP4 表示范围，也就是以 M=6 作为缩放上界。

这个设计有一个明显问题：

当权重最大值被映射到 6 附近时，66%~100% 这段范围内的值都只能用 6 表示，量化误差会集中出现。

02 FourOverSix：在 M=6 与 M=4 之间自适应选择

FourOverSix（Jack Cook, Junxian Guo, Guangxuan Xiao, Yujun Lin, Song Han；MIT + NVIDIA 联合工作，arXiv:2512.02010）的核心思路很直接：

对每个量化 block，不固定使用 M=6，而是在 M=6 和 M=4 两种缩放上界之间选择误差更小的那个。

当选择 M=4 时，block 权重会被缩放到 [-4, 4]。这样 [2, 4] 区间内可以使用 2、3、4 三个值，表示分布更均匀，更适合权重比较集中的 block。

代价是：M=4 放弃了 FP4 的 (4, 6] 区间，对少数极大值的表示能力会下降。

选择规则如下：

## M=4 对应的 block scale 约为 M=6 时的 1.5 倍scale_m4 = fp8(scale_m6.float() * 1.5)

mse_m6 = ((W_block - dequant(W_block, scale_m6)) ** 2).mean()mse_m4 = ((W_block - dequant(W_block, scale_m4)) ** 2).mean()

final_scale = scale_m4 if mse_m4 < mse_m6 else scale_m6

这一做法的好处是：

输出格式仍然是标准 NVFP4：4-bit 权重 + FP8 block scale

推理 kernel 不需要改动

吞吐没有额外损耗

03 我们的集成方式

我们将自适应 scale 选择嵌入 GPTQ 量化流程中：

估算 block scale ↓比较 M=6 与 M=4 的反量化误差 ↓选择误差更小的 scale ↓进入 GPTQ 权重优化迭代

这样做的原因是：先确定每个 block 的 M 选择，再让后续 GPTQ 优化在这个框架下进行，避免 scale 选择与 GPTQ 迭代互相影响。

04 实测现象

实测发现：

约 40–43% 的 blocks 最终选择了 M=4

MLP 层的 M=4 占比明显高于 Attention 层的 QKV 投影

启用 FourOverSix 后，各类评测任务上都能观察到稳定的量化精度提升

这个现象符合直觉：

推测解码：Medusa 在混合注意力架构上的适配：01 推测解码的目标

推测解码（Speculative Decoding）的基本思路是：

用轻量 draft 先预测多个后续 token，再让主模型一次性 verify，从而用一次 verify 的代价获得多个 token 的输出机会。

如果预测被接受，就能减少主模型 decode 的次数，提高吞吐。

02 Medusa：不引入独立 draft model

Medusa（Tianle Cai, Yuhong Li, Zhengyang Geng, Hongwu Peng, Jason D. Lee, Deming Chen, Tri Dao；ICML 2024）的核心创新是：

不额外训练一个独立 draft model，而是在主模型最后一层 hidden state 上增加多个轻量预测头。

每个 Medusa head 负责预测后续第 k 个位置。

结构如下：

p_t^(k) = softmax( W₂⁽ᵏ⁾ · ( SiLU(W₁⁽ᵏ⁾ · hₜ) + hₜ ) )

其中：

W₁ 初始化为全零。这样训练初期 Medusa head 的预测与主模型完全一致，训练更稳定。

03 Tree Attention Verify

Medusa verify 的关键是一次性验证多条候选路径。

流程可以简化为：

多个 Medusa head 输出候选 token ↓取每个 head 的 top-s 候选 ↓通过笛卡尔积构建候选树 ↓主模型一次 forward 并行 verify ↓选择最长接受前缀

例如，两个 head 各取 top-2，就会得到 4 条候选路径。

Verify 时，通过修改 attention mask，保证每个候选节点只能看到自己的前驱路径，而不能看到其他 sibling 分支。这样就能在一次主模型 forward 中验证整棵候选树。

04 MiniCPM-SALA 适配难点：GLA State 管理

MiniCPM-SALA 是混合注意力架构。除了标准 Multi-Head Attention，它还包含大量 GLA（Gated Linear Attention）递推层。

GLA 每一步的输出依赖递推 state hₜ：

hₜ = exp(−γ) · hₜ₋₁ + kₜ · vₜᵀ

这给 tree verify 带来了一个新的问题：

树中的 sibling 分支必须从同一个 parent state 出发，不能线性继承前一个候选的 state。

如果 sibling 分支错误继承了前一个候选的 state，就会引入不属于当前路径的历史信息，导致 verify 语义错误。

我们的处理方式是：针对 verify 路径增加 GLA state 分叉逻辑，保证每个分支都从正确的 parent state 开始。

05 训练数据分布对 accept rate 的影响

除了模型结构适配，Medusa head 的训练数据分布也很关键。

我们观察到：训练数据越接近线上推理场景，accept rate 越稳定。基于这一点，我们按照验证集分布特征对训练数据做了加权采样，让训练集更接近实际推理场景。

结果是：相比随机采样，accept rate 有可测量的提升。

06 实验结果

在 MiniCPM-SALA 上：

Medusa K=1 的 verify overhead 约为 0.39 ms

该开销明显低于一次正常 decode step 的耗时

各并发级别下，decode 阶段端到端吞吐都有稳定正向收益

总结

这两项工作的共同点是：都不能只照搬论文方法，必须理解目标模型的结构细节

FourOverSix 的关键在于理解 NVFP4 block scale 格式，以及它与 GPTQ 优化流程之间的关系。

Medusa 适配 的关键在于理解 GLA 递推 state 与标准 KV cache 的差异。

把论文里的方法放到具体系统里跑通，往往比复现论文结果更难。

感谢 SOAR 2026 组委会搭建的平台，感谢 SGLang 与 OpenBMB 的开源工作。也感谢 Claude 和 ChatGPT——作为两个完全没有 infra 背景的本科生，很多系统层面的问题是在和 AI 反复讨论中才逐渐摸清楚的。

比赛还在继续，期待与各位选手继续切磋。

作者介绍

王致尧：队长，华中科技大学人工智能专业大四本科生。此前没有 infra 背景，借这次比赛第一次系统接触推理系统优化。

武显瑾：队友，华中科技大学人工智能专业大四本科生。借比赛机会入门 GPU 算子方向。

武显瑾希望特别感谢女朋友张昱在整个赛程中的陪伴与理解。备赛期间熬夜、占用周末，多有叨扰。

很高兴和队友一起拿下 SOAR 2026 第七周冠军。

也真诚感谢前几周其他队伍的系统分享。那些工作让我们对这个赛道的技术边界有了更清晰的认知，也帮助我们更快判断哪些方向值得投入。

🌟 OpenBMB 社区的小伙伴们：

SOAR 2026 稀疏算子加速大奖赛正火热进行中，每周都有新挑战，实时榜单虚位以待 。如果你想在模型推理加速、算子级优化、量化技术上展示你的技术实力 ，我们诚挚邀请你入场参赛，与曹议及更多优秀的小伙伴同台竞技，共同挑战 MiniCPM-SALA 的推理极限！点击下图或访问大赛官网 https://soar.openbmb.cn/ 了解更多。