论文分享 | Cheers：一条更简洁、更高效的统一多模态路线
过去几年，多模态模型在理解与生成两条路径上各自取得了长足进步：图像问答、视觉推理等理解能力持续提升，图像生成也在视觉质量和指令遵循上不断突破。一个自然的问题是——能否用同一个模型同时做好理解与生成？而这正是统一多模态模型（Unified Multimodal Models, UMMs）试图回答的问题。但这件事并不容易，理解任务依赖稳定、抽象的语义表示，生成任务则需要保留充足的局部细节与高频纹理，二者在视觉表征和优化目标上存在天然张力。
今天为大家介绍一项来自清华大学、西安交通大学、中国科学院大学的开源工作——CHEERS，一条面向统一多模态理解与生成的架构路线。它在保持系统简洁的前提下，将理解与生成统一到同一个端到端框架中联合优化，并最大程度继承开源预训练模型已有知识。CHEERS 实现了：
统一多模态理解与生成的端到端框架
保持架构简洁，同时实现理解与生成联合优化
零额外预训练成本，充分继承开源预训练模型知识（相对传统 VLM 仅增加轻量 VAE 与 Cascaded Flow Matching Head）
更少训练数据下达到同规模 SOTA / 领先性能
4× token compression，兼顾统一建模与高效率
统一多模态模型的三种技术路线
从视觉表示角度看，现有工作主要呈现出三种典型思路：
分离式：将理解与生成放在相对分离的视觉空间里，各自优化、互不干扰。这类方案任务性能通常不差，但统一性相对有限。
单一语义空间式：强调用同一套表示同时支撑理解与生成，但往往在结构细节上遇到瓶颈。
异构融合式：尝试将语义信息与像素级信息汇总到一起，但融合后容易出现干扰和拉扯。
CHEERS 的位置，正是在这些路线之间给出一个更加克制的答案：不追求把所有问题压缩成一种表示，也不走完全分离的双系统，而是在统一框架下重新安排语义与细节的职责。
CHEERS 的架构设计：轻量增量实现统一
2.1 整体架构：从理解模型到统一模型的轻量升级
CHEERS 的出发点非常明确：不是为了统一而引入庞大而复杂的组合系统，而是在保留已有开源预训练能力的基础上，用尽可能小的架构增量完成从“理解模型”到“理解+生成统一模型”的升级。具体来说，CHEERS 构建了一个统一多模态大模型框架，通过统一视觉 tokenizer、LLM 主干以及 Cascaded Flow Matching Head，将多模态理解与图像生成纳入同一条端到端链路。
这个设计最重要的价值在于两点：
理解与生成同时优化：同一个 LLM 主干既服务于文本自回归与多模态理解，也服务于图像生成过程中的条件建模，从而让统一不再停留在“模块拼装”，而成为真正端到端的联合建模。
充分继承预训练知识：CHEERS 不需要为了“统一化”额外再做一轮昂贵的大规模预训练，而是完整保留并利用已有预训练能力，让统一多模态模型的构建成本显著降低。对于开源社区而言，这一点尤其重要，因为真正能被持续复现、扩展和使用的路线，不只是性能强，更要足够现实。
2.2 语义与细节：解耦而非割裂，级联生成
需要强调的是，“解耦”本身并不是该工作的重点。事实上，近期不少统一多模态工作都已经观察到类似经验：理解更偏向稳定语义，生成更依赖细节保真。这说明问题本身正在逐渐被行业看清。在 CHEERS 中，视觉信息被组织为两类互补成分：语义 token 用于多模态理解和生成条件控制，细节残差 则用于在生成过程中补足高频纹理和局部保真。
对应地，在生成阶段，CHEERS 采用“先语义、后细节”的级联方式：先生成全局语义布局，再通过语义门控逐步注入细节信息，对局部纹理进行修正和增强。同时作者团队观察到，即便没有对高频细节注入强度做显式监督，模型也会在生成后期自然增强对高频细节的使用。这种现象非常像人类作画时“先搭结构、再补内容、后补纹理”的过程，也说明 CHEERS 的设计并不是机械堆叠模块，而是在建模上更贴近理解与生成各自的需求节奏。
小数据，大性能：更重要的是特征空间的统一
从实验结果来看，CHEERS 在同等规模统一多模态模型中取得了很强的综合表现。在多项主流理解基准与生成基准上，CHEERS 都展现出竞争性甚至领先的结果：
在生成基准 GenEval 上达到 0.78
在理解基准 MMBench、MMStar、AI2D、MathVista 等上也取得了稳健表现
同时，CHEERS 还实现了 4× token compression，为高分辨率视觉理解与生成提供了更高效率的统一建模方式。
▎更值得关注的：对预训练知识的高效继承
相比单纯列举性能，该工作还有一个值得关注的亮点：CHEERS 达成这些结果时，使用的数据规模显著小于部分同类方法。CHEERS 总训练样本规模为 83M，相比一些同类工作节省了约 2× 甚至更多的数据需求，仍然能够达到同规模 SOTA 或领先性能。这说明 CHEERS 的优势不只是“训得出来”，而是它对已有预训练知识具有更高的继承和利用效率。某种意义上，这比单纯提升某个 benchmark 分数更值得关注，因为统一多模态走到今天，真正稀缺的已经不只是数据规模，而是如何把已有知识体系更高效地组织起来。
总结
在论文作者看来，CHEERS 的意义不止体现在结果上，也体现在它对统一多模态研究提供了一些值得继续思考的方向。
1. 统一模型真正需要统一的，未必是单一视觉表示本身，而可能是一个足够稳定、足够高效的信息接口。如果不同任务对视觉信息的需求本来就不同，那么比起强行让所有能力共享同一份表征，更重要的也许是让不同信息以合适方式进入统一主干。
2. 理解与生成并不一定互相拖累，关键在于架构设计是否合理。论文表明，在统一架构设计下，联合训练生成目标不会显著破坏理解能力，反而有机会带来细粒度感知层面的增益。
3. 高效统一多模态，不一定意味着更重、更大、更复杂。CHEERS 用简单的系统改动，完成了从传统理解型 VLM 到统一模型的升级，这为后续很多开源工作提供了一种更现实的参考路径。
4. 效率问题本身就是统一多模态问题的一部分。CHEERS 的 4× token compression 不只是工程优化，也意味着高分辨率理解与生成可以在更现实的计算预算下被同时纳入一个系统中，这对未来更长上下文、更复杂视觉输入的统一建模都很关键。
作者团队表示，他们期待的不只是一个更强的模型，而是一条让更多研究者和开发者都能继续往前推进的路线。因此他们开源了训练、推理测评代码和模型权重，并于近期开源微调数据。
➤ 相关链接
项目地址：
🔗 https://github.com/AI9Stars/Cheers
模型地址：
🔗 https://huggingface.co/ai9stars/Cheers
论文地址：
🔗 https://arxiv.org/abs/2603.12793