AgentCPM-GUI

AgentCPM-GUI 是由 THUNLP、中国人民大学和 ModelBest 联合开发的开源设备端 LLM 代理模型。它基于具有 80 亿参数的 MiniCPM-V，接受智能手机截图作为输入并自主执行用户指定的任务。

技术亮点

• ：不同于通用多模态模型，AgentCPM-GUI 专门针对中文安卓应用界面进行预训练，覆盖高德地图、大众点评、哔哩哔哩、小红书等本土应用。这种垂直场景的深度优化使其在中文应用的理解和操控上更具优势，解决了通用模型在中文界面元素识别上的“水土不服”问题。
• ：GUI Grounding：精准识别和定位按钮、输入框、标签、图标等通用控件。
• ：OCR Grounding：不仅能识别屏幕文本内容，还能根据文本描述执行对应操作。
• ：通过设计动作格式奖励、动作类型奖励、动作参数奖励三个维度的奖励函数，引导模型自主生成高质量的思维链（Chain-of-Thought）过程。相比传统的监督微调，这种强化学习方式能让模型在执行过程中不断优化策略，显著提升任务执行成功率。
• ：将动作表示压缩为平均仅 9.7 个 token 的 JSON 格式，这一设计带来三大实际收益：
• ：降低推理成本：减少计算和内存需求。
• ：端侧部署友好：更适合在移动设备上本地运行。
• ：隐私安全增强：减少云端交互，敏感操作可在本地完成。
• ：模型不仅能理解单步指令，更能自动拆分复杂任务为可执行的步骤序列，并在不同应用间协调完成。这种从“用户意图”到“多应用协同执行”的闭环能力，是其作为智能助手的核心竞争力。