FlagOS X MiniCPM 模型推理吞吐性能优化挑战赛开启！双芯片同台，万元奖金等你来战
千亿级大模型加速走向产业落地，高算力、高显存开销带来的推理延迟高、吞吐低、硬件资源利用率不足等问题，严重制约了产业规模化应用。在保证推理精度、业务稳定性的前提下，做好固定硬件集群下的端到端推理优化，是当下大模型系统方向非常关键的技术命题。
继赛道一 SGLang 框架算子优化挑战赛火热进行后，FlagOS 开放计算全球大赛（赛季二）赛道二：MiniCPM 模型推理吞吐性能优化 正式开启全球报名！
本赛道由众智 FlagOS 社区、IEEE 主办、面壁智能与 OpenBMB 开源社区协办，获得了沐曦、天数的特别赞助，旨在聚焦千亿级大模型规模化落地后的核心痛点——高算力、高显存开销带来的推理延迟高、吞吐低、资源利用率不足等问题。参赛者需要基于 FlagOS 推理框架，针对 MiniCPM5‑2B 模型，在天数 BI-V150、沐曦-曦云 C500 （显存 64 GB）两款芯片上挑战推理吞吐上限，充分发挥硬件潜能，实现模型推理在速度、资源利用率等方面的显著提升。
无论你是系统研发工程师、高校大模型方向研究者，还是开源社区深度开发者，都可以组队参与，打磨你的大模型推理系统优化方案。
这场挑战赛，核心挑战在哪里？：极限吞吐优化，全栈技术大考
不同于算子层面的单点优化，本赛道考验端到端完整推理系统优化能力。选手需要在保证模型精度不明显下降的硬性约束之下，综合调度并行策略、显存管理、算子内核、框架逻辑等全栈手段，提升 MiniCPM5‑2B 模型的 total tokens/s 吞吐指标。
优化目标：提升 total tokens/s。
基本指标：保持精度。
允许的优化手段包括但不限于：显存管理（KV Cache优化、动态批处理）、计算逻辑优化（算子融合、内核重写）等需要在框架有开发量的手段进行优化。提交的技术报告中的策略必须体现在提交代码中，并在最终版本使用上对应的优化策略。
开发框架与算子库：
FlagOS 推理框架：
🔗 https://github.com/flagos-ai/vllm-plugin-FL（branch: flagos-2026-s2）
高性能算子库 FlagGems：
🔗 https://github.com/flagos-ai/FlagGems（tag: v5.3.5）
评测硬件：天数 BI-V150、沐曦-曦云 C500（显存 64GB）
双芯片同台竞技，全栈优化能力对决
你的优化方案将在天数 BI-V150 和沐曦-曦云 C500 两款芯片上分别进行评测。参赛团队若在两款芯片都有性能优化，需将两个平台源代码合并提交。
评测场景覆盖 4k 场景（[4096,1024,64,256]）和 16k 场景（[16384,1024,64,128]），全面考察你的优化方案在不同输入长度下的性能表现。
评分逻辑：
本赛道设置一、二、三等奖高额现金奖励，总分 = 性能分（天数卡）+ 性能分（沐曦卡）+ 创新分
性能分（70%）：性能提升比例。例如，baseline 是 200，提升到 210，提升了 5%，性能分 = 100 × 5% × 70%
创新分（30%）：专家评分（技术报告创新性）。创新分 = 专家评分 × 30%
*排名过程中，若出现性能提升相同的情况，将根据参赛队伍提供的技术报告评估技术创新性（由赛事方投票决定）。
奖项设置 ：
🥇一等奖：30000 元
🥈二等奖：20000 元
🥉三等奖：10000 元
官方算力支持，助力技术攻关
本赛道需使用官方提供的统一算力支持，本着“不浪费算力资源”的原则，参赛团队请在规定时间内提交申请材料。申请材料需至少包含：初步技术方案、团队介绍（团队成员个人简历以及团队成员参与相关项目和竞赛的经历说明等）。组委会将依据综合评审结果，对算力资源进行统一分配。
天数算力：需审批通过后在线上实验室平台（https://flags.io/OnlineLab）预约使用；
沐曦算力：需领取算力券后登录模力方舟（https://ai.gitee.com/compute）平台兑换使用（温馨提示：算力券额度有限，未开发时段请及时关机。另为保证数据不丢失，建议每 36 小时开关机一次）。
技术指导：来自众智 FlagOS 社区成员单位的北京智源人工智能研究院专家为本次竞赛提供全程技术指导。
关键赛程
1. 报名时间：2026 年 7 月 19 日 - 2026 年 11 月 10 日（UTC+8）
报名入口：https://flagos.io/race-detail-season2?id=539vlt2p⟨=cn
*必须通过官网完成报名，方可参与评审评奖。
3. 官方算力申请：2026 年 9 月 14 日 - 2026 年 11 月 10 日（UTC+8）
需要提交以【参赛队伍名.pdf】命名的申请材料，包含初步技术方案、团队介绍。组委会 7 个工作日内完成审核；算力资源有限，遵循先到先得。
天数 BI-V150 算力：审批后在 OnlineLab 线上实验室预约使用；
沐曦曦云 C500 算力：领取算力券，在模力方舟平台兑换使用；建议每 36 小时重启，避免数据丢失。
4. 算力评审及发放：2026 年 9 月 21 日 - 2026 年 11 月 15 日（UTC+8）
开发与提交阶段：2026 年 9 月 21 日 - 2026 年 11 月 20 日（UTC+8），在此周期完成代码开发，打包完整作品提交平台。
6. 评审阶段：2026 年 12 月初
7.结果发布：2026 年 12 月中旬
*时间如有调整，将通过 FlagOS 平台提前通知，最终以官方通知为准。
参赛提交与评审要点
团队要求：每一个参赛队伍不超过 3 个成员，支持单人组队。本赛道欢迎国内外企业、高校、科研院所、创新团队、科研开发者等人员参加。
2. 开发环境：
模型：/workspace/MiniCPM5-2B
evalscope 评测数据集：/workspace/evalscope-datasets/math_500
vllm-plugin-FL：/workspace/vllm-plugin-FL
FlagGems：/workspace/FlagGems
vllm-plugin-FL 和 FlagGems 源码更新：pip install --no-build-isolation
3. 提交成果要求
提交内容：参赛者需要以参赛队伍名.zip提交作品，其中包含源代码（若在两款芯片都有性能优化，需将两个平台源代码合并提交）、技术报告和复现说明。
技术报告（report.pdf）：完整阐述方案设计思路、算法原理、实现架构、优化策略、实验环境、测试结果与效果分析；图文结合，逻辑清晰，完整支撑作品方案，便于评审人员理解整体技术路线与创新点。
复现说明（readme.md）：清晰列明软硬件环境、依赖版本、环境部署步骤、编译执行流程、数据集准备方式、运行命令与结果校验方法，步骤完整可落地，保障评审人员依据文档能够顺利复现实验结果。
4. 评测规则说明
精度校验：math_500 Level3 数据集复测精度≥0.95；精度不达标直接成绩无效；
性能评测：4k、16k 两大场景，以组委会统一复现得到的total tokens/s吞吐作为排名依据；
禁止行为：开启量化、投机采样、benchmark 脚本调优、直接合并上游框架分支获取性能收益等，一经发现判定成绩无效。
获奖 PR 提交：获奖团队必须在评审结束后 3 个工作日内完成 GitHub PR 提交（https://github.com/flagos-ai/vllm-plugin-FL/tree/flagos-2026-s2），逾期视为自动放弃奖项资格。
*本次大赛最终解释权由 FlagOS 开放计算全球大赛组委会所有。
大模型推理落地过程中，面临着显存开销高、并发吞吐受限、长文本推理效率不足、异构硬件适配复杂等一系列现实痛点。想要真正释放大模型的业务价值，既需要底层算子的打磨，也离不开调度策略、显存管理、框架逻辑等系统层面的协同演进，是一项覆盖软硬件的全栈工程难题。
FlagOS 开放计算全球大赛（赛季二）希望引导开发者立足完整推理系统视角，直面产业真实落地难题，探索兼顾精度、时延与吞吐的可行优化路径。无论你是深耕大模型推理系统的研发工程师，还是正在做系统优化课题的高校学生，欢迎组队参与，把你的推理优化方案落地、验证、开源，助力大模型推理生态的发展。
💡 如何获取帮助
赛事咨询邮箱：contact@flagos.io
赛题查阅地址：https://flagos.io/race-detail-season2?id=539vlt2p⟨=cn
GitHub 仓库地址：
FlagOS 推理框架：
🔗 https://github.com/flagos-ai/vllm-plugin-FL/tree/flagos-2026-s2
FlagGems 算子库：
🔗 https://github.com/flagos-ai/FlagGems
MiniCPM5-2B 模型下载地址：
Hugging Face：
🔗 https://huggingface.co/openbmb/MiniCPM5-2B
Github：
🔗 https://github.com/OpenBMB/MiniCPM
魔搭社区：
🔗 https://modelscope.cn/models/OpenBMB/MiniCPM5-2B
👇 扫码进群获取赛题答疑、技术交流、官方通知