基于Open-AutoGLM项目开发的手机自动化图形用户界面,支持安卓、鸿蒙和iOS设备的智能任务执行。
- 🖥️ 友好的图形界面,无需记忆命令行参数
- ⚙️ 可自定义base-url、model、apikey和任务命令
- 💾 支持保存和加载配置
- 📝 实时显示程序输出
- 🔒 API Key密码显示/隐藏功能
- ⏹️ 支持停止正在运行的程序
- 📱 安卓设备 - 通过ADB控制
- 🟢 鸿蒙设备 - 通过HDC控制
- 🍎 iOS设备 - 通过WebDriverAgent控制
- 🎯 任务润色器 - 自动润色复杂任务指令
- 🔄 多设备支持 - 自动检测和管理多个连接设备
- 📊 步数限制 - 可设置最大执行步数防止死循环
- 🔧 应用支持 - 支持主流手机应用的自动化操作
pip install -r requirements.txtpython gui.py PhoneAgentGUI.exe - Base URL: 模型API的基础URL
- 默认:
https://open.bigmodel.cn/api/paas/v4(智谱AI)
- 默认:
- Model: 模型名称
- 默认:
autoglm-phone-9b
- 默认:
- API Key: 用于身份验证的API密钥
- 智谱AI密钥格式:
xxxxxxxx.xxxxxxxxxx.xxxxxxxxxx
- 智谱AI密钥格式:
- 最大步数: 任务执行的最大步数,防止死循环
- 默认:
200
- 默认:
- 设备类型: 选择连接的设备类型
- 安卓: 通过ADB控制
- 鸿蒙: 通过HDC控制
- iOS: 通过WebDriverAgent控制
- 任务命令: 要执行的具体任务,如"打开美团搜索附近的火锅店"
运行上述任一命令启动GUI界面
根据您的设备类型进行准备:
- ✅ 开启USB调试模式
- ✅ 连接电脑
- ✅ 安装ADB工具
- ✅ 安装ADB Keyboard应用(已内置在项目中)
- ✅ 开启开发者模式
- ✅ 开启HDC调试
- ✅ 下载hdc.exe工具
- ✅ 连接电脑
- ✅ 开发者账号
- ✅ xcode导入WebDriverAgent
- 填写您的Base URL(默认已填写智谱AI的API地址)
- 填写模型名称(默认为autoglm-phone)
- 填写您的API Key(重要!请替换为真实密钥)
- 选择正确的设备类型
- 输入您要执行的任务命令
- 设置合适的最大步数
- 点击"运行"按钮开始执行
- 观察实时输出信息
- 如需中断,点击"停止"按钮
- 点击"保存配置"可将当前参数保存
- 下次启动时自动加载已保存配置
- API Key安全: 请妥善保管您的API Key,不要分享给他人
- 设备权限: 确保给予应用必要的设备控制权限
- 数据隐私: 任务执行过程中可能涉及个人数据,请注意隐私保护
- Python环境: Python 3.7+
- 网络连接: 确保网络连接正常,能够访问API服务器
- 设备兼容性:
- 安卓: Android 5.0+
- 鸿蒙: HarmonyOS 2.0+
- iOS: iOS 12.0+
| 错误类型 | 可能原因 | 解决方案 |
|---|---|---|
| API Key无效 | 密钥错误或过期 | 检查API Key格式,重新获取密钥 |
| 网络连接失败 | 网络问题或API地址错误 | 检查网络连接,确认Base URL正确 |
| 设备未连接 | USB未连接或调试未开启 | 重新连接设备,开启调试模式 |
| ADB工具未安装 | 缺少ADB环境变量 | 安装ADB工具并添加到PATH |
| HDC工具未找到 | hdc.exe不在正确位置 | 下载hdc.exe并放置到程序目录 |
- 查看实时输出区域的详细错误信息
- 使用命令行工具验证设备连接:
- 安卓:
adb devices - 鸿蒙:
hdc list targets
- 安卓:
{
"base_url": "https://open.bigmodel.cn/api/paas/v4",
"model": "autoglm-phone",
"apikey": "your-bigmodel-api-key",
"task": "输入你想要执行的任务,例如:打开美团搜索附近的火锅店",
"max_steps": "200",
"device_type": "安卓"
}包含模型参数和推理设置的详细配置
- Python: 3.7或更高版本
- 操作系统: Windows 10+, macOS 10.14+, Ubuntu 18.04+
- 内存: 至少4GB RAM
- 存储: 至少2GB可用空间
pip install -r requirements.txt主要依赖包:
Pillow>=12.0.0- 图像处理openai>=2.9.0- API调用aiohttp>=3.8.0- 异步HTTPrequests>=2.31.0- HTTP请求(iOS支持)
- Android 5.0 (API 21) 或更高版本
- 已开启USB调试模式
-
下载ADB工具
# 官方下载地址 https://developer.android.com/studio/releases/platform-tools -
安装ADB Keyboard
- 使用项目内置的
ADBKeyboard.apk - 在手机上安装并设为默认输入法
- 使用项目内置的
-
验证连接
adb devices
- HarmonyOS 2.0 或更高版本
- 已开启开发者模式和HDC调试
-
下载HDC工具
# 官方下载地址 https://gitee.com/openharmony/docs # 或从HarmonyOS SDK获取
-
配置hdc.exe
- 将hdc.exe放置在程序同一目录下
- 或添加到系统PATH环境变量
-
验证连接
hdc list targets
- 连接安卓设备并开启USB调试
- 启动GUI程序
- 输入智谱AI的API Key
- 任务命令:
打开美团搜索附近的火锅店 - 点击"运行"
- 选择正确的设备类型
- 任务命令:
打开微信给张三发消息:晚上一起吃饭 - 设置最大步数为50(简单任务)
- 点击"运行"并观察执行过程
- 将设备类型切换为"鸿蒙"
- 确保hdc.exe在正确位置
- 任务命令:
打开相机拍照并保存 - 运行并检查输出
- 原始项目: Open-AutoGLM
- 微信公众号: 菜芽创作小助手(更多工具和教程)
- 问题反馈: 查看程序输出中的详细错误信息
- 社区支持: 加入相关技术交流群
本项目基于Open-AutoGLM开源协议,请遵守相关许可证要求。