SOAR 周冠军笔记 01｜曹议：赛题初识、环境搭建与配置探索

编者按·开栏的话

每一周的冠军诞生，都是对性能极限的致敬。

随着 SOAR 2026 首个榜单周冠军的诞生，我们正式开启 「SOAR 周冠军笔记」 技术专栏。本栏目旨在搭建一个深度技术交流的平台：

对于选手： 我们邀请每周的领跑者公开其核心优化思路与实战避坑指南，希望能为正在攻坚的开发者们提供灵感火花，促进社区整体技术水位元的提升。

对于周冠军：这里是展示顶尖技术实力的舞台。我们记录下每一次从环境搭建到架构突破的思考过程，让优秀的方案与纯粹的极客精神被更多人看到。

在这里，没有绝对的终点，只有不断被刷新的基准。首篇分享，让我们跟随第一周冠军曹议的视角，拆解他是如何通过权重量化策略在首周决战中杀出重围的。

作者介绍：曹议（SlightwindSec） 目前在某国产国产计算平台担任大模型（LLM）推理框架开发与模型性能优化工程师 。拥有两年以上一线工程经验，深耕推理加速 、低比特量化等关键技术领域。

➤ GitHub 链接

🔗 https://github.com/SlightwindSec

以下是作者分享原文。

SORA 2026 第一周

SOAR 2026 是一个以优化 MiniCPM-SALA 模型推理性能为目标的比赛，每周结算一次排名。本文记录了我第一周（3.1 - 3.5）的参赛经历。

01 比赛规则简介

比赛的核心是在保证模型正确率的前提下，尽可能压低推理耗时。评分公式为：

最终总分 = (S₁×40% + S₈×30% + S_∞×30%) × 正确性系数C

其中 S₁/S₈/S_∞ 分别对应单并发、8 并发、不限并发三档压测场景下的相对耗时得分。正确性系数 C 是一个阶梯式惩罚项：模型输出的相对分需要超过 97%，否则总分直接归零；97%-99% 乘以 0.96，99% 以上才是满分系数 1.0。

每天只有 3 次提交机会，每次提交后才能拿到评测机上的真实反馈，每次机会都很宝贵。

02 基础工作：把环境搭起来

第一天主要在搭基础设施：写了通过 Docker 镜像拉起临时容器的服务脚本、本地性能测试脚本，并调通了多种 attention 后端等。

为了让本地测试结果更有参考价值，我设计了三组测试数据集，覆盖不同的使用场景：

0.1k-4k：短输入长输出，模拟生成密集型场景

0.1k-0.5k：短输入短输出

60k-0.5k：长输入短输出，模拟长文档问答场景

这套本地评测体系可以在提交到评测机之前快速筛掉明显回退的方案，避免浪费提交次数。

03 初期尝试：调参阶段

最初几次提交基本是在调 SGLang 启动参数，探索 KV Cache 压缩、attention 后端切换等方向。基线提交直接用默认配置，最终分数约 94 分，accuracy 满分，但性能没有优化。

开启 KV Cache FP8 量化后，三档性能均有一定提升，但幅度有限——总分落在 77~78 左右，而且其他选手也在持续优化，相对分数其实是在下降的。

也测试了在线权重 8-bit 量化方案，但在单并发场景下效果不理想，可能是单并发场景的 Kernel 计算耗时基本一致，量化反而引入了额外开销。

04 关键转折：权重量化

还有权重量化没有尝试，因此决定尝试一下 4-bit 量化，把权重精度大幅压缩，不仅能减少显存占用，还能降低内存带宽需求——对于以解码为主的推理任务，内存带宽往往才是瓶颈。

量化过程中遇到了一些模型适配上的工程问题，需要针对 MiniCPM-SALA 的代码结构做一点处理。

量化后模型体积从约 18GB 压缩到约 5.4GB，压缩比接近 3:1。在本地测试中，单并发耗时相比之前最优配置降低了约 40%，提升非常显著。

提交到评测机后，最终成绩：

{

"C": 0.92, "S1": 100, "S8": 99.99, "Smax": 96.39,

"final_score": 91, "performance_score": 98.91

}

性能分接近满分（98.91），但正确性系数只有 0.92，说明量化后精度有一定损失，相对分落在了 97%~98% 这档。

05 榜单分析

周赛结束时，排名前几的情况大致如下：

2~5 名的精度系数全是 1.0（即精度几乎没有损失），而我的 C 只有 0.92。但我的 S1 达到了 100 分（本周最快），靠着性能上的优势压住了精度的扣分。

4-bit 权重量化确实带来了显著的推理加速，但也暴露出了一定的精度瓶颈。对比来看，其他队伍在保持较高精度的前提下，端到端耗时也已经与我比较接近。这说明他们使用了一些我还未发现的优化策略，还需要我在赛后进一步复盘。

总的来说，第一周的思路是：用大幅度的权重压缩换速度，用性能分的优势弥补精度的扣分。最终以 91 分获得周冠军。但长期来看，在保精度的前提下压速度才是更健康的路线——毕竟精度系数 0.92 离淘汰线并不远，这是个需要解决的问题。

致谢：感谢 SOAR 2026 组委会提供的比赛平台和 SGLang 团队的开源贡献。比赛还在继续，我会继续努力，争取在后续的赛程中取得更好的成绩！

🌟 OpenBMB 社区的小伙伴们：

SOAR 2026 稀疏算子加速大奖赛正火热进行中，每周都有新挑战，实时榜单虚位以待 。如果你想在模型推理加速、算子级优化、量化技术上展示你的技术实力 ，我们诚挚邀请你入场参赛，与曹议及更多优秀的小伙伴同台竞技，共同挑战 MiniCPM-SALA 的推理极限！点击下图或访问大赛官网 https://soar.openbmb.cn/ 了解更多。