← 返回列表

AgentCPM-GUI:MobileUse智能体基于图像推理,操控手机

单站 榫卯江湖 发布 Wed, 14 May 2025 00:18:00 +0800 入库 2026-11-18T16:46:16

CFC4N 2025-05-14 00:18 北京

AgentCPM-GUI是一款由清华大学THUNLP实验室与面壁智能联合开发的开源端侧智能体大模型,能够接收Android手机屏幕图像作为输入,并根据用户指令自动完成相应任务。

AgentCPM-GUI[1]是一款由清华大学THUNLP实验室与面壁智能联合开发的开源端侧智能体大模型,基于MiniCPM-V构建,总参数量为8B。该模型能够接收手机屏幕图像作为输入,并根据用户指令自动完成相应任务。这是一个专为中文环境优化的GUI智能体,能够操控安卓应用程序完成各种复杂交互任务。

  1. 高质量GUI基础能力:通过在大规模中英文Android数据集上预训练,模型对常见GUI控件(如按钮、输入框、标签、图标等)具备出色的定位与理解能力,为精确操作奠定基础。
  2. 中文APP应用适配:作为首个针对中文APP精细优化的开源GUI Agent,模型支持高德地图、大众点评、哔哩哔哩、小红书等30余个主流中文应用,解决了中文界面交互的特殊挑战。
  3. 增强的规划推理能力:通过强化微调技术(RFT),使模型在输出动作前进行详细的推理思考,显著提升复杂任务执行的成功率,使操作更加智能化。
  4. 紧凑的动作空间设计:采用优化的动作空间和紧凑的JSON格式,平均动作长度仅9.7个token,大幅提升端侧推理效率,降低了资源消耗。

AgentCPM-GUI建立在MiniCPM-V模型基础上,通过监督微调(SFT)和强化学习微调(RFT)两个阶段训练而成:

  1. 监督微调(SFT):使用包含屏幕截图和相应操作的大规模标注数据集,训练模型理解界面元素并生成正确的操作行为。
  2. 强化微调(RFT):通过自我探索和反馈机制,优化模型的思考能力和决策策略,提高复杂场景下的任务完成率。
  3. 动作设计:采用JSON结构化输出,支持多种操作类型:
  4. POINT:点击屏幕指定位置
  5. to:从当前位置滑动(上、下、左、右或特定坐标)
  6. TYPE:输入文本
  7. PRESS:特殊按键操作(HOME、BACK、ENTER)
  8. 支持思考(thought)过程输出,增强可解释性

AgentCPM-GUI在多个基准测试中表现卓越:

  1. GUI元素识别(Grounding):
  2. fun2point:79.1%(领先)
  3. text2point:76.5%(领先)
  4. bbox2text:58.2%(领先)
  5. 平均:71.3%(远超第二名44.3%)
  6. 任务执行(Agent):
  7. 在Android Control、GUI-Odyssey、AITZ等英文测试集上取得领先成绩
  8. 在中文APP测试集上表现尤为突出(TM 96.86%,EM 91.28%)
  9. 显著超越Qwen2.5-VL、UI-TARS等主流模型以及GPT-4o、Gemini 2.0等闭源大模型

使用触摸屏与移动设备互动,并截取屏幕截图。

要执行的动作。可用的动作如下:

要执行的动作。可用的动作如下:

基于大模型的Function Call机制实现,Android控制部分基于Android Debug Bridge协议实现,支持以上几个操作类型,详情见
AgentCPM-GUI/eval/utils/utils_qwen/agent_function_call.py

项目中,还有一些
ComputerUse

的代码,我没太理解为啥要操控电脑。

  1. 智能手机自动化:替代传统脚本,通过自然语言指令完成日常操作任务
  2. 无障碍辅助:帮助行动不便用户操控手机应用
  3. 应用测试与QA:自动执行应用测试流程,发现潜在问题
  4. 智能助手集成:为现有智能助手提供视觉交互能力
  5. 教育引导:辅助新用户学习复杂应用的使用方法

模型支持多种部署方式:

  1. Hugging Face推理:直接加载模型进行推理,支持本地GPU加速
  2. vLLM服务部署:通过vLLM部署高性能推理服务,适合多用户场景
  3. 自定义训练:开源了SFT和RFT训练代码,可根据特定需求进行调整和优化

作为端侧GUI智能体的前沿实践,AgentCPM-GUI开启了多模态AI与手机交互的新范式,未来有望在以下方向持续发展:

  1. 扩展到更多应用场景和平台(如iOS、桌面系统)
  2. 增强跨应用任务规划和执行能力
  3. 降低模型参数量,提升端侧部署效率
  4. 增强个性化适应能力,根据用户习惯调整交互方式

看到这里,想必一些搞黑产、灰产的同学肯定早有动作了,那么作为防御方的你,又开始头疼了吗?

参考资料

[1]  AgentCPM-GUI: https://github.com/OpenBMB/AgentCPM-GUI

原文链接:https://mp.weixin.qq.com/s?__biz=MzUyMDM0OTY5NA==&mid=2247485149&idx=1&sn=884eb7939ac5160cb24732f45106b3ce