MiniCPM-o 4.5 技术分享：如何让多模态大模型更像「人」？｜ AGI开源荟001
2026 年 2 月 7 日晚，OpenBMB 开源社区联合「AGI BAR」共同举办了“MiniCPM-o 4.5：如何让多模态大模型更像人？”的技术分享会。在会上，面壁智能多模态首席科学家、清华大学助理教授姚远从最新开源的 MiniCPM-o 4.5 全双工全模态大模型出发，围绕全双工全模态大模型的技术原理、能力突破与未来应用作了深度分享。
姚远，清华大学人工智能学院助理教授、面壁智能多模态首席科学家。
主要研究方向为多模态大模型和自然语言处理。曾在 Nature Communications、CVPR、ACL、ICLR 等顶级国际会议发表多篇论文 30 余篇，多次入选会议亮点或期刊推荐文章。谷歌学术引用 8500 余次，GitHub 开源项目星标 3.6 万余次，开源模型下载量 1600 万余次。主导构建高效多模态大模型MiniCPM-V及MiniCPM-o系列，系列模型入选HuggingFace 2024年度最受欢迎和下载开源模型榜单、中关村论坛年会10项重大科技成果等。曾获人工智能学会优博、教育部自然科学研究成果奖二等奖、英特尔中国学术成就奖、世界人工智能大会云帆奖等荣誉。
本次直播吸引了 3.5 万开发者和研究人员参与，姚远系统阐释了 MiniCPM-o 4.5 在实现“边看-边听-主动说”类人交互上的三大创新，并首次公开其全双工架构、自主交互机制与真人级语音生成的关键实现路径。在随后的问答环节中，来自机器人、VR、教育、AIoT 等领域的现场观众与线上参与者踊跃提问，围绕端侧部署、训练策略、多模态理解等议题展开了深入探讨。
在这次的分享中，姚远系统介绍了 MiniCPM-o 4.5 在实现“边看-边听-主动说”类人交互上的三大创新，并首次公开其全双工架构、自主交互机制与真人级语音生成的关键实现路径。MiniCPM-o 4.5 由清华大学 x 面壁智能 x OpenBMB 团队联合打造。
活动采用 “线上直播+线下交流” 的混合形式，本次直播吸引了 3.5 万开发者和研究人员参与。分享结束后的互动问答环节中，来自机器人、VR、教育、AIoT 等领域的现场观众与线上参与者也踊跃提问，围绕端侧部署、训练策略、多模态理解等议题展开了深入探讨。
演讲精选
分享伊始，姚远首先回顾了 MiniCPM 高效多模态大模型系列的发展路径。
从 2024 年初开源端侧多模态模型，到后续在 OCR、多图视频理解、视觉-语音-流式能力上的持续突破，研发团队始终致力于在同等参数规模下实现领先的基础能力，并将前沿实验室探索与产品化需求紧密结合。
他提到，当前大多数多模态模型仍沿用着语言模型“离线、轮次对话”的交互范式，即处理静态数据、进行一问一答。然而，人类生活在持续且并行的多模态信息流中，能够实时感知、低延迟反应并自由决策对话时机。
为了弥合这一根本差距，MiniCPM-o 4.5 的核心探索便围绕着“如何让多模态大模型更像人”展开，具体聚焦于三个关键的人类交互特性：全模态IO流不阻塞、在多模态流上的自主交互自由，以及自然低延迟的真人感语音对话。
为实现这些目标，MiniCPM-o 4.5 在架构上进行了根本性革新。
模型采用“LLM 主干 + 轻量级模态编解码器”的端到端设计，在保留强大文本能力的同时，通过紧密的隐层连接实现高能力上限。在此基础上，团队首创了“全双工全模态”的建模机制。通过将输入输出的视频、音频、文本、语音流在时间轴上进行高精度对齐与切片（如每秒一个处理单元），模型实现了类似人类“边看、边听、边说”的并行处理能力，输入输出互不阻塞，能根据环境反馈实时调整策略。
针对传统模型对话时机被动、依赖外部 VAD（语音活动检测）工具的问题，MiniCPM-o 4.5 引入了高频自主交互语义判断机制。模型能以每秒一次的频率，自主判断当前是否应该说话，从而 原生支持 即时回复、打断、主动回复和插话等类人交互行为，真正 弱化了僵化的轮次对话体验。
在语音交互层面，得益于 Token 级别的端到端连接，LLM 主干可以承担复杂的指令理解与韵律规划，指导轻量级 TTS解码器生成音色自然、富有表现力的语音，甚至实现字级别的韵律控制。同时，全双工流式语音生成机制与“预看”下文技术，在保障低延迟的同时，确保了长语音的连贯性与稳定性。模型还创新性地支持“多模态系统提示”，用户可通过文本结合一段参考音频，轻松实现高质量的端到端语音克隆与角色扮演。
除了前沿的交互能力，MiniCPM-o 4.5 在图文理解、文档解析、视频问答等基础多模态能力上依然保持同尺寸模型的领先水平。为了方便开发者使用，模型已适配 Llama.cpp、ollama 等多个主流推理框架，并且团队专门开发了首个高效端侧流式全模态推理框架 llama.cpp-omni，并且开源了轻量级本地演示系统，让用户在个人电脑上也能体验全双工全模态交互。
精彩QA
Q1：将全双工与全模态能力整合一体（All in One），具体面临哪些挑战？
姚远：挑战主要有在两个方面。
一个是 多模态能力融合的平衡艺术。
业界通常观察到，当试图将视觉、语音、文本等多种模态能力，以及指令遵循（instruct）与深度思考（thinking）等复杂任务统一到一个模型中时，极易出现性能“掉点”，即不同能力相互干扰。这要求团队必须对模型结构设计、数据配比以及不同模态在学习过程中的特性有更加深刻的认知与精准的把握。经过反复迭代与优化，我们最终实现了多种复杂能力在统一架构下的良好平衡与协同提升。
二是 系统性创新的“无人区”开拓。
全双工全模态是一个在开源社区尚无成熟范例的前沿方向。这意味着从最底层的 模型结构、运行机制、infra，到 训练数据的构造方法 与 训练策略，再到上层的 评测体系、高效推理框架 乃至 交互演示系统，整个技术栈都需要进行从零开始的协同设计与创新。这是一次典型的“无人区”探索，其最大难度在于缺乏可参照的路径，需要整个团队在未知中并行推进多个环节，并确保它们能最终耦合为一个可用的整体。
Q2：这类更像「人」的模型，其独特的应用前景在哪里？
姚远：在“机械执行命令的 AI”与“完全像人的 AI”之间，存在一个广阔的能力光谱，而这正是全双工全模态模型能开启独特价值的空间。其核心在于能够实现 “边看边听，在恰当时机，基于环境理解，进行主动交互” 。例如：
伴随态伙伴：在你做饭时，它能看到水烧开了并主动提醒；在电梯里，它能持续读取楼层变化，并在到达目标楼层时自然告知。
无障碍辅助：为视障人士提供的不再是“你问我答”，而是持续的环境观察与关键事件（如绿灯亮起、水杯将满）的主动播报。
智能座舱：在驾驶中持续观察路面，主动提示“左侧有可用车位”，并引导泊车。
具身智能与机器人：作为机器人的“大脑”，使其能持续感知动态环境，并自主决定交互与行动的时机。
这些场景的共同点是，需求并非一次性的问答，而是需要模型作为“沉默的观察者”和“及时的提醒者”融入动态的生活流，这正是传统轮次对话模型无法胜任的。
Q3：为什么强调像人的AI模型一定要能在手机等端侧设备上运行？
姚远：这并非简单的技术选择，而是由“类人伴随式 AI”的本质需求所决定的必然路径。
一个真正像人的、全天候伴随的 AI，将会看到和听到用户最私密的生活信息。将如此持续且私密的多模态数据流上传至云端，其隐私泄露风险是不可接受的。数据不离端，是对用户隐私最好的守护。
类人交互要求极低的延迟和极高的稳定性。网络波动、信号盲区（如隧道、野外）都会极大破坏“实时感知与响应”的体验。只有端侧计算能提供 确定性的低延迟与高可用性。
此外，如果亿万用户都依赖云端来处理 7x24 小时不间断的全双工视频、音频流，所需的计算与带宽资源将是天文数字，无论从成本还是能耗看都不可持续。将算力分布在每个终端，利用本地资源实现闭环，是构建 普惠、可持续大规模服务的最可行架构。
因此，让大模型“更像人”的探索，与让强大智能“运行于端侧”的实践，是同一枚硬币的两面，共同指向一个更智能、更隐私安全、也更普惠的未来。
MiniCPM-o 4.5 的更多技术细节
Q：模型的上下文消耗快吗？能连续交互多久？
A：目前我们将全双工作为一个实验性功能，建议在 1 分钟左右 的上下文窗口内使用，效果最佳。在测试中，3 分钟内的连续交互也表现良好。更长的交互涉及大规模 KV Cache 的存储与汰换，是当前业界的前沿问题，需要未来在模型长上下文技术和推理框架上共同突破。
Q：模型支持进一步的微调吗？
A：对单一能力（如图文理解、语音对话）进行微调是可行的，我们提供了脚本。但对全模态、全双工能力进行整体高质量微调，目前面临高质量数据构造和 Infra 的挑战，需要社区共同努力。
Q：全双工方案相比传统的半双工或工程Pipeline方案，成本会高很多吗？
A：工程 Pipeline 方案（如拍照后识别）无法实现真正的实时记忆与伴随式交互。半双工模型则无法做到“边听边说边调整”。全双工带来的是 本质的能力形态拓展，可以解决很多更具挑战性的问题。如果 Pipeline 能满足特定需求，那它确实是稳定且低成本的选择。但当场景需要模型真正“像人一样”理解并融入动态环境时，全双工是必需的技术路径。
Q：面向机器人等端侧算力有限的设备，跑通全模态模型还需多久？
A：这取决于算法、芯片与场景的协同进步。算法上，模型性能的“密度”提升很快，同等能力所需的算力在下降；硬件上，端侧芯片的算力遵循摩尔定律增长，且专为 Transformer 设计的芯片即将到来。乐观估计，在未来 1 到 2 年，我们有望在机器人等设备上看到实用的端侧全模态模型。
Q：如何实现多模态的长期记忆，比如回顾一天前的监控视频？
A：像人一样拥有连贯的长时记忆是核心挑战。一种直接的方案是使用 RAG（检索增强生成），将历史视频片段检索出来再送入模型。但这并非最优雅、最高效的方式。如何让模型像人一样自主形成、存储并调用高度抽象的多模态记忆，是一个值得长期探索的研究方向。
Q：小尺寸模型实现高性能的“智能密度”理论依据是什么？是否存在极限？
A：这源于 不同模型将数据与算力转化为智能的效率不同。如同人脑不是最大的，却是最聪明的。关键在于 模型结构、训练方法与数据质量的协同优化，而不仅仅是参数量。例如，为了实现 OCR 能力，我们早期增加 OCR 数据效果不佳，但改用高清视觉编码后性能飞跃。因此，智能密度的提升远未到极限。所谓极限，更多是“在特定硬件约束下实现足够好用体验”的工程问题，而这个约束随着硬件发展在不断放宽。
➤ 模型链接
GitHub ：
🔗 https://github.com/OpenBMB/MiniCPM-o
HuggingFace 链接：
🔗 https://huggingface.co/openbmb/MiniCPM-o-4_5
ModelScope： *
🔗 https://www.modelscope.cn/models/OpenBMB/MiniCPM-o-4_5
魔乐： *
🔗 https://modelers.cn/models/OpenBMB/MiniCPM-o-4_5
Gitcode：
🔗 https://ai.gitcode.com/OpenBMB/MiniCPM-o-4_5
OpenBMB 社区始终相信，前沿技术的生命力在于开放的碰撞与协作。为此，我们承诺将继续并加大开源投入，为开发者提供从模型到部署的全栈支持。
推理部署
01 常规使用
<strong>Llama.cpp, ollama, vLLM, SGLang, FlagOS 等框架全面适配</strong>
02 全模态能力使用
>> 推理部署框架
<strong>llama.cpp-omni，高效端侧推理</strong>
>> 演示系统
网页端基于 WebRTC 的网页版演示交互系统
本地端轻量级演示交互系统已开源，两种部署方式可选择⬇️方式 1 : 🐳 使用 Docker 进行部署 – 省略环境安装，具体可参考以下文档，支持 macOS / Linux / Windows 三种平台🔗 https://github.com/OpenSQZ/MiniCPM-V-CookBook/blob/main/demo/web_demo/WebRTC_Demo/README_zh.md方式 2 : 🚀 参考 oneclick.sh 进行一键安装+部署 – 原生部署方案，对内存更友好，同时方便二次开发， 支持 macOS / Linux🔗 https://github.com/OpenSQZ/MiniCPM-V-CookBook/blob/main/demo/web_demo/WebRTC_Demo/oneclick.md
⚙️ 硬件需求
单工语音🖥️ Mac 环境：至少 16 GB RAM，推荐 M4 芯片 + 32 GB 以上 RAM🎮 CUDA 环境（linux / windows）：推荐 12 GB+ 显存
双工 Omni🖥️ Mac 环境：至少 32 GB RAM，推荐 M4 Max + 64 GB 以上 RAM🎮 CUDA 环境（linux / windows）：推荐 16 GB+ 显存
同时，我们正持续招募志同道合的伙伴，共同推进技术前沿，欢迎你的加入👋 ❤️！