SOAR 周冠军笔记 04 | 智算一队：W4A16 量化与推理算子融合实践

2026-03-26

编者按·工程与效率

本周，SOAR 大赛迎来重大突破。“智算一队”凭借严谨的工程路径，打破了此前长达三周的卫冕纪录，并成功解锁了大赛的“特别悬赏奖”。这一成绩的取得，标志着选手的优化思路已从早期的策略尝试，演进到了深度算子调优与高性能量化方案的综合应用阶段。

在本期笔记中，智算一队详细复盘了他们如何通过构建高置信度的本地评测集，在有限的提交机会下实现高效迭代。在技术选型上，他们深入对比了不同量化路径，最终通过 W4A16 (GPTQ + Marlin) 方案有效缓解了带宽瓶颈，并结合算子融合进一步压榨了推理性能。

随着 4 月 8 日半决赛临近，赛事的比拼已进入综合工程能力的较量。本篇关于量化选型、算子调优及本地基建的实战复盘，为所有关注 LLM 推理优化的开发者提供了务实的工程参照。

作者介绍：李晓辰：在校学生，专注大语言模型推理系统优化，熟悉vLLM/SGLang 等主流推理框架，曾在某大厂实习，在模型精度量化、KV Cache 压缩策略等方面有丰富实战经验。：队友：刘某，目前在某公司负责 GPU 算子优化，熟悉 Hopper、Blackwell 架构，具有英伟达高端 GPU 的 GEMM、Attention 优化工程经验。：以下是作者分享原文。

SORA 2026 第四周

很高兴能和队友一起在第四周拿下周冠军。从赛程开始到现在，我们一路踩坑一路调优，这篇文章回顾一下这几周做过的主要工作。

01 基础设施：拿到赛题后我们没有急着做优化，而是先把工程基础打扎实。首先是在本地把 SGLang + MiniCPM-SALA 的推理链路完整跑通。考虑到每天只有 3 次提交机会，需要一个靠谱的本地评估手段来过滤掉不靠谱的方案，避免浪费线上提交次数，于是我们按照官网给的速度评测集的长度分布制作了一个本地评测集，基本我们的线上成绩和本地评测集的表现是成正比的。此外我们也对官方精度评测集做了分析，看了一下不同任务类型的分布和输入长度特征，为后面准备校准数据集积累了一些认知。：02 算子融合：队友擅长英伟达 GPU 上的算子优化，所以在量化模型没出来之前，我们先对模型的前向计算做了一遍梳理，识别到一些可以融合、调优的算子，也对一些算子做了重写。比如原始代码中 RMSNorm 归一化 + RoPE 旋转位置编码，是典型的可以融合的算子，sglang 库也提供了相应的融合算子库可以适配利用，将这类算子融合后可以拿到一定的收益。：03 量化过程：量化是我们投入最多的方向。最开始我们尝试了 W8A8 动态量化——权重和激活都在线量化到 INT8，期望利用 INT8 Tensor Core 加速。结果比较失望：在我们的场景下速度几乎没有变化。：接着试了 W8A16，只对权重做 8-bit 量化，激活保持 BF16。精度几乎没有损失，但性能提升也比较有限，不足以拉开差距。：最终我们选定了 W4A16 的 GPTQ + Marlin 方案。相比简单的 Round-to-Nearest 量化，GPTQ 在同等位宽下能保留更高的精度。推理 Kernel使用 Marlin，在小 batch下可以达到接近理论极限的 4 倍带宽节省，非常适合 decode 阶段的 memory-bound 特性。：应用 W4A16 后模型体积压缩至原先的约四分之一，带宽瓶颈得到明显缓解，各档并发场景的端到端耗时均有显著下降。：校准数据集对量化精度影响不小，这部分我们也反复迭代了好几轮，根据评测集的任务分布调整数据配比。校准数据集对量化精度影响不小，这部分我们也反复迭代了好几轮，根据评测集的任务分布调整数据配比。：04 总结：总体来看，我感觉做好基础建设对我们的帮助很大，有了好的基础建设才能快速模型迭代、验证，才能做更多的工程上的反复验证和调优。接下来还有很多事情可以做，希望可以做出更多有意思的东西来。：致谢：感谢 SOAR 2026 组委会搭建的比赛平台和持续的技术支持，也感谢 SGLang 团队的开源工作。每周看到榜单上的名次变化都能感受到各位选手的进步速度，对我来说是压力也是动力。比赛还在继续，祝大家都能做出更好的成绩！

🌟 OpenBMB 社区的小伙伴们：

3月28日（本周六）我们和 SGLang、GPUStack 联合举办了 Infra AI 线下 Meetup，欢迎大家到现场与 MiniCPM、SGLang、GPUStack 核心成员聊透 AI Infra 那些事儿。点击下图了解更多！