SOAR 2026 回顾｜从算力极限到开源生态，一场关于推理未来的深度对话

2026-06-25

SOAR 2026，是一场历时约三个月的大模型推理优化挑战赛，正式画上了句号。

本次大赛由 OpenBMB 开源社区联合 SGLang 与 NVIDIA 社区共同发起，以全球首创「稀疏 + 线性」混合架构模型 MiniCPM-SALA 为赛题核心，聚焦稀疏化算子融合与编译优化等底层硬核课题，挑战在消费级 GPU 上实现百万级 Tokens 推理与 KV Cache 的极致效率。这篇文章回顾赛事全程，记录选手的技术演进路径、冠军方案的完整技术细节，以及收官 Meetup 上的前沿分享。

关于 SOAR 2026 大赛

SOAR 2026 是一次面向大模型边缘推理优化的开发者实践，重点关注模型在真实硬件、真实推理框架和真实评测场景下的性能优化能力。比赛并不以单一分数为唯一目标，而是希望通过完整的工程约束，推动参赛者围绕推理效率、显存利用率、并发能力和系统稳定性进行综合优化。

本次比赛基于 MiniCPM-SALA 模型展开。该模型采用 32 层混合注意力架构，其中包含 8 层稀疏注意力和 24 层线性递推注意力，支持最高 512K tokens 的超长上下文。赛题指定单张 RTX PRO 6000D（Blackwell，sm_120，84GB）作为评测硬件，并以 SGLang 作为推理框架。评测维度覆盖单请求延迟（S1）、8 并发延迟（S8）和最大并发延迟（Smax）三个场景，同时设置正确性门槛作为前置条件。

这一赛题设计使参赛者不仅需要关注模型层面的算法优化，也需要深入推理系统的工程实现，包括 CUDA Kernel、量化工具链、KV Cache 管理、推理引擎调度以及硬件指令级适配等环节。

参赛情况与技术演进：01 整体数据

从整体参与数据来看，本次大赛共有 326 支队伍注册、370 位选手参与，总提交次数超过 4300 次，最终 69 支队伍进入榜单。许多参赛队伍在比赛周期内持续进行参数调整、方案验证和工程迭代。

02 技术演进

本次比赛中选手的优化路线经历了从基础参数调优到全栈系统优化的明显变化。

早期：选手主要围绕量化、KV Cache、推理参数等方向进行尝试，例如 W4A16 GPTQ 量化、FP8 KV Cache 和基础 batch 参数调整。

中后期：头部队伍开始深入到推理框架和底层算子层面，出现了算子融合、混合量化路由、CUDA Graph 捕获、自定义 Triton / CUDA Kernel、投机解码等更系统的优化方案。

决赛阶段：部分头部方案的代码改动已经达到百余文件、万余行新增代码，优化范围覆盖模型权重、注意力计算、KV Cache、推理调度和硬件执行路径等多个环节。

整体来看，本次比赛的核心优化方向主要集中在五类：低比特量化、KV Cache 压缩、算子融合与自定义 Kernel、投机解码、引擎级调度优化。这些方向共同说明，大模型推理优化已经不再是单点参数调整，而是模型结构、推理框架、硬件能力和系统调度之间的协同优化。

从结果看，低比特量化提升了计算密度，KV Cache 压缩释放了高并发显存空间，算子融合和自定义 Kernel 降低了实际执行开销，投机解码改善了单请求延迟，而 CUDA Graph、torch.compile 等引擎级优化进一步减少了调度损耗。这些技术路线共同构成了本次比赛中头部队伍拉开差距的关键。

SOAR 2026 收官 Meetup

SOAR 2026 收官 Meetup 是本次比赛的线下收束环节。活动围绕「大模型边缘推理实战：从算力优化到开源生态共建」展开，既涵盖了赛事回顾、获奖公布和冠军方案复盘等环节，也邀请 NVIDIA、SGLang、OpenBMB 的技术嘉宾从硬件、推理框架和模型三个方向分享前沿进展。

01 开场白：从开源社区到推理赛场

活动由 OpenBMB 开源社区负责人井晨哲开场，围绕 OpenBMB 开源社区的定位与价值展开介绍，并带领现场观众回顾了 SOAR 2026 的赛事背景、赛题设计、参赛情况和主要技术成果。

02 技术分享：从硬件算力到推理框架，再到端侧模型

本次 Meetup 的技术分享部分主要围绕硬件、推理框架和模型三个方向展开。

NVIDIA 加速计算专家吴自华带来了「SM120 架构推理优化与 Agent 实践」分享，探讨了新一代 Blackwell 架构硬件特性对大模型推理效率的影响与应用路径。

SGLang 团队带来了两个议题：Alex 从宏观视角分享了开源 AI 推理基础设施在未来一年的演进方向，涵盖多硬件适配与生态建设；叶雪松则聚焦 SGLang-Omni，介绍了这一专为多阶段生成模型（如 Qwen3-Omni）重构设计的推理框架，围绕调度解耦、通信分层与内存隔离三大核心设计，系统阐述了如何应对「思考」与「表达」多阶段解码的架构挑战，目前已开源并支持 TTS、Omni、Multimodal 等多类前沿模型。

OpenBMB 文本模型负责人肖朝军则从 Scaling Law 的宏观视角切入，介绍了团队提出的「能力密度」概念与密度法则（Densing Law）——相关研究已入选《Nature Machine Intelligence》封面文章——并系统阐述了 MiniCPM5 在计算高效架构、高知识密度数据治理、可扩展强化学习三大方向上的技术布局，展示了从 MiniCPM 系列到最新「小钢炮」MiniCPM5-1B 的持续演进成果。

03 荣誉时刻：SOAR 2026 总决赛冠军公布

历经约三个月、4300 余次提交的激烈竞逐，SOAR 2026 大赛总冠军正式花落「香草小张」队伍（华中科技大学人工智能与自动化学院，王致尧、武显瑾）。

成绩数据

冠军方案相较于 Baseline，综合平均加速比达到 6.33x，在三个核心评测场景下均表现突出：

S1（单请求）：加速比 9.72x（1029.49s → 105.93s），接近 10 倍提速；

S8（8 并发）：加速比 5.42x（1298.65s → 239.77s）；

Smax（最大并发）：加速比 3.86x（2544.34s → 659.34s）。

冠军方案在单请求场景下提速最为显著，随并发规模提升加速比有所收敛，但在最大并发下仍保持接近 4 倍提升——说明方案不仅优化了单点延迟，也兼顾了高并发下的系统吞吐与稳定性。

冠军技术方案深度解析

冠军队伍最终方案覆盖了量化、注意力后端、投机解码三大核心方向，每个方向都深入到了硬件指令级别。

1. 量化与 GEMM 派发

冠军方案将所有线性层权重统一量化为 NVFP4（FP4 E2M1，每个元素 0.5 字节）。量化过程采用 GPTQ 的 Hessian 最优 rounding，并引入 FourOverSix 块自适应 scale 选择：每个量化块可以在 scale=4 和 scale=6 两种粒度间灵活切换。实测约有 40–43% 的块选用了更细粒度的 scale=4，MLP 层的量化误差因此得到明显改善。

GEMM 路径上，团队实现了 Hybrid Marlin/CUTLASS 动态派发策略。当单次 GEMM 的 token 数 M ≤ 48 时，走 Marlin W4A16 实现；当 M > 48 时，切换至 CUTLASS W4A4 路径，原生调用 NVFP4 MMA 指令以最大化算力密度。两条路径的延迟曲线恰好在 M ≈ 48 附近交叉，运行时选择延迟更低的实现。此外，KV Cache 全程保留 BF16 精度，兼顾整体推理稳定性。

2. 混合注意力后端优化：Standard Attention: FlashInfer Plan Cache

plan() 单次约 23ms，基线 128K prefill 需 128 次调用（16 chunk × 8 层），累计 2.9s，占 20%。

固定 top-K 下层间 block 数与 KV 段长度一致，设计两级缓存（forward 内跨层 + chunk 间跨 forward 复用）。

命中时仅替换索引指针， plan() 调用降至 16 次，单条 128K prefill 缩短 28%（14.6s → 10.3s）。

GLA 线性注意力

直写 state pool ：将 gather → kernel → scatter 三步（两次全状态拷贝）融合为 Triton kernel 内按索引读写，消除外层搬运。

算子融合：QKNorm+RoPE（5→1 kernel）、输出门控 RMSNorm+sigmoid×mul（3→1 kernel），寄存器内完成计算，消除中间张量 HBM 往返。

3. EAGLE-3 投机解码与混合架构适配

投机解码的核心思想是由较小规模的 draft 模型一次性提出多个候选 token，再由 target 模型在单次前向过程中并行验证这些候选，仅接受与原始自回归解码结果一致的最长前缀。与逐 token 解码相比，该方法能够在一次 target forward 中产出多个 token，从而降低单请求场景下的解码延迟。

EAGLE-3 实现

本方案采用 EAGLE-3 作为投机解码框架。具体而言，EAGLE-3 从 target 模型的三个中间层抽取 hidden state，并将其拼接后送入约 437M 参数的 draft head，用于预测后续 token：

Draft 训练

损失：draft 接受率满足，最大化接受率即最小化 draft 与 target 输出分布的 TV 距离；但纯 TV 在训练初期梯度平坦，KL 又过度惩罚低概率尾部。以当前接受率自适应加权二者——，初期用 KL 暖启动，升高后过渡到与接受率对偶的 TV 主导。

AOI 位置增强：训练样本仅 4K token，推理却要处理超长上下文。Anchor-Offset Interpolation 给每条样本随机一个全局位置偏移，让 draft 训练期就见过各种位置区间的 RoPE，从而外推到超长序列（序列起始若干位置保留为 attention sink、不参与偏移）。

NVFP4 QAT：draft 每个 target forward 周期要连跑 5–7 步、延迟直接叠加在关键路径上，故对其做量化感知训练——前向直接在 FP4 上做 GEMM（而非伪量化模拟），反向以 STE 把梯度直通回 BF16 主权重，使训练对齐推理的 FP4 路径、权重与推理一致。

运行时调度

候选树：tree verify 并行验证。

推测深度自适应：单请求 D7（15 候选），中并发 D5（11 候选），高并发退回常规解码；阈值滞回避免反复切换。

Ngram 路由：请求内字符串匹配确定性片段，命中即构造单链跳过 draft，未命中走 EAGLE，共用 verify。

长上下文 prefill 截断：利用 chunk 独立性，仅末尾 32K 执行 draft prefill，draft prefill耗时从17s 降至 ~1s，接受率无明显下降。

4. MiniCPM-SALA 的 Tree Verify 适配

MiniCPM-SALA 共 32 层，由 8 个稀疏注意力层与 24 个 SimpleGLA 层交替构成。EAGLE 投机解码采用 tree verify 在一次前向中并行校验整棵候选树，但这两类层的状态语义均会被树形结构破坏，标准 EAGLE 验证无法直接套用。

与此同时，投机解码还必须保持无损，也就是开启加速后，模型输出仍要与原生逐 token 解码完全一致。因此，冠军方案专门对稀疏注意力层和 SimpleGLA 层做了适配。

稀疏注意力层

解码时每个 query 只从历史 KV 中选取 top-k 个 block 参与注意力。若验证退化为全量注意力，则选块过程不同，输出偏离真实解码路径。

方案：让每个候选节点独立复刻解码时的稀疏注意力选块过程，再通过 Triton kernel 将 tree mask（仅允许看到祖先节点，排除兄弟节点）压入紧凑页表，使每个候选恰好访问其在真实解码中应见的 block。

SimpleGLA 层

SimpleGLA 层不保留 KV cache，仅维护一个随 token 不可逆更新的递推状态，各 head 衰减系数 γ 为固定标量（与数据无关，0< γ <1）：

树形验证中整棵候选树被推演一次后，递推状态会被所有路径（包括后续被拒绝的分支）污染，必须回滚到被接受路径对应的正确状态。

方案一：状态快照

为每个候选节点独立保留一份完整状态快照。实现简单且速度略优，但部署规模下显存开销高达约 8.8 GB，不可接受。

方案二：寄存器内重放（最终采用）

不保留任何中间状态，仅存储每个候选节点的 k、v 输入（总显存约 0.14 GB）。验证前向为每 (序列, token, head, 状态分块) 分配一个线程，从 live 初始状态出发，沿父链在寄存器内逐步重放递推，计算出该候选的状态与输出。待 verify 确定接受长度后，再沿被接受路径重放一次以生成终态，并仅回写这一个状态。状态全程不落显存，持久显存占用较全状态快照方案降低一个数量级以上。

结语

三个月赛程，4300 余次提交，SOAR 2026 最终留下的不只是一张榜单。

在这场比赛里，选手们真正面对的是大模型推理系统中的复杂工程问题：如何在有限硬件资源下压缩显存、降低延迟、提升吞吐；如何让模型结构、推理框架和硬件能力彼此配合；如何把一次性能优化从「能跑」推进到「跑得更快、更稳、更可复用」。这些问题，也正是端侧模型和高效推理走向真实应用时必须回答的问题。

SOAR 2026 已经结束了，但围绕高效推理的探索还会继续。未来，OpenBMB 社区也将持续推动更多模型、工具、框架和开发者之间的协作，让更多来自社区的优化方案沉淀为真实可用的开源成果。