MiniCPM-o 2.6

MiniCPM-o 2.6 是 80 亿参数全模态模型，支持实时语音对话和多模态直播。

技术亮点

• 端到端全模态架构：不同模态的编码器/解码器以端到端的方式连接和训练，以充分利用丰富的多模态知识。
• 全模态流媒体机制：我们将离线模态编码器/解码器改为在线版本，以处理流式输入/输出。我们设计了一种时分复用（TDM）机制，用于在 LLM 主干中进行全模态流处理。它将并行的全模态流在小的时间片段内分割成顺序信息。
• 可配置的语音建模设计：我们设计了一个多模态系统提示，包括传统的文本系统提示，以及一个新的音频系统提示来确定助手的声音。这使得在推理时能够灵活配置声音，并且还便于端到端的声音克隆和基于描述的声音创建。

模型表现

• 视觉推理与感知

* 数据来源于真实模型评测