MiniCPM-SALA

MiniCPM-SALA 采用稀疏—线性混合注意力架构，其中 25% 的层使用 InfLLM-V2，75% 的层使用 Lightning Attention；在单张 NVIDIA A6000D（96GB 显存）或单张 RTX 5090（32GB 显存）上，支持最高 1M Token 上下文推理。

核心亮点

• 创新混合架构：协同整合 25% 稀疏注意力（InfLLM-V2）实现高保真长上下文建模，与 75% 线性注意力（Lightning Attention）保障全局计算效率；相比稠密基线模型实现 3.5× 推理加速并显著降低 KV 缓存开销，打破“算力墙”与“显存墙”。
• 2026 稀疏算子加速大奖赛（SOAR）：大赛聚焦于稀疏化算子融合与编译优化等底层硬核课题，聚焦在消费级 GPU 上实现百万级词元推理与 KV Cache 的效率优化，面向长文本处理场景。
• 打破效率瓶颈：相比稠密基线模型，推理速度为其 3.5 倍，KV 缓存开销更低；测试条件与对照数据见技术报告。

技术亮点

• 为何混合架构是更优解：传统 Transformer 模型在处理长文本时，其核心的全注意力机制会导致计算量随文本长度呈平方级增长，同时生成过程中需要缓存的键值对也会占用大量显存。现有的解决方案主要分为线性注意力与稀疏注意力两大流派，但纯线性注意力存在精度损失的短板，纯稀疏注意力又有着存储瓶颈的限制。
• SALA 混合注意力机制：MiniCPM-SALA 采用稀疏—线性混合注意力架构。模型中 75% 的层采用线性注意力（Lightning Attention），用于捕捉局部信息；其余 25% 的层采用稀疏注意力（InfLLM-v2），用于全局信息流转。该配比下的计算效率与语义精度对照数据见技术报告。

模型表现

• 长上下文：MiniCPM-SALA 在大多数长上下文基准测试中持续优于同等规模的其他开源大语言模型：在所有上下文长度（最高至 128K）的 RULER 与 NoLiMa 测试中均取得最高分，并保持 38.97 的最高综合平均分，展现出卓越的长上下文信息处理能力。
• 推理效率：与 Qwen3-8B 的推理速度对比，MiniCPM-SALA 在首 token 生成时间（TTFT）上实现高达 2.5× 的加速，在显存占用上与全注意力架构不同：当 Qwen3-8B 在扩展长度下遭遇显存溢出（OOM）时，MiniCPM-SALA 成功在单张消费级 RTX 5090 上扩展至百万级 token 上下文。
• 标准评测：MiniCPM-SALA 在标准基准测试中取得 76.53 的平均分；对照模型 Qwen3-8B 与 Falcon-H1R-7B 的分数见下表。

* OOM：显存溢出无法运行（效率数据基于单卡实测：RTX 5090 / A6000D，非量化）