首款无需电脑的开源 AI 手机自动化助手 | AI Phone Automation Assistant
基于视觉语言模型 (VLM) · 原生 Android Kotlin · 多 Agent 协作架构
English | 简体中文
2025 年 12 月，字节跳动联合中兴发布了「豆包手机助手」，一款能够自动操作手机完成复杂任务的 AI 助手。它能帮你比价下单、批量投简历、刷视频，甚至代打游戏。
首批 3 万台工程机定价 3499 元，上线当天即告售罄，二手市场一度炒到 5000+。
买不到？那就自己做一个。
于是有了肉包——一个完全开源的 AI 手机自动化助手。
为什么叫「肉包」？因为作者不爱吃素。🥟
| 特性 | 肉包 | 豆包手机 | 其他开源方案 |
|---|---|---|---|
| 需要电脑 | ❌ 不需要 | ❌ 不需要 | ✅ 大多需要 |
| 需要购买硬件 | ❌ 不需要 | ✅ 需要 3499+ | ❌ 不需要 |
| 原生 Android 实现 | ✅ Kotlin | ✅ 原生 | ❌ Python |
| 开源 | ✅ MIT | ❌ 闭源 | ✅ 开源 |
| Skills/Tools 架构 | ✅ 完整 | ❓ 未知 | ❌ 无 |
| UI 设计 | ⭐⭐⭐½ | ⭐⭐⭐⭐ | ⭐⭐ |
| 自定义模型 | ✅ 支持 | ❌ 仅豆包 | ✅ 部分支持 |
传统的手机自动化方案痛点：
- 必须连接电脑运行 ADB 命令
- 需要部署 Python 环境和各种依赖
- 只能在电脑端操作，手机必须通过数据线连接
- 技术门槛高，普通用户难以使用
肉包的解决方案：
一个 App，装上就能用。无需电脑、无需数据线、无需任何技术背景。
打开 App → 配置 API Key → 说出你想做的事 → 完成。
市面上几乎所有手机自动化开源项目（包括阿里的 MobileAgent）都是 Python 实现，需要：
- 在电脑上运行 Python 脚本
- 手机通过 USB/WiFi ADB 连接电脑
- 截图通过 ADB 传输到电脑，处理后再把操作指令传回手机
肉包完全不同。
我们用 Kotlin 重写了整个 MobileAgent 框架，原生运行在 Android 设备上：
- 截图、分析、执行全部在手机本地完成
- 无需电脑中转，延迟更低
- 利用 Shizuku 获得系统级权限，而非繁琐的 ADB 命令
Android 系统出于安全考虑，普通 App 无法：
- 模拟用户点击、滑动屏幕
- 读取其他 App 的界面内容
- 执行
input tap、screencap等系统命令
传统方案需要连接电脑执行 ADB 命令。而 Shizuku 是一个优雅的解决方案：
- 通过无线调试或电脑 ADB 启动一次 Shizuku 服务
- 之后普通 App 就可以获得 ADB 级别的权限
- 无需 Root，无需每次都连接电脑
这让肉包可以直接在手机上执行截图、点击、输入等操作，真正实现「一个 App 搞定一切」。
受 Claude Code 架构启发，肉包实现了 Tools + Skills 双层 Agent 框架：
用户: "帮我点份外卖"
│
▼
┌─────────────┐
│ SkillManager │ ← 意图识别
└─────────────┘
│
┌────┴────┐
│ │
▼ ▼
🚀 快速路径 🤖 标准路径
(Delegation) (GUI 自动化)
│ │
▼ ▼
直接 DeepLink Agent 循环
打开小美 AI 操作美团 App
Tools 层（原子能力）
底层工具集，每个 Tool 完成一个独立操作：
| Tool | 功能 |
|---|---|
search_apps |
智能搜索已安装应用（支持拼音、语义） |
open_app |
打开应用 |
deep_link |
通过 DeepLink 跳转到 App 特定页面 |
clipboard |
读写剪贴板 |
shell |
执行 Shell 命令 |
http |
HTTP 请求（调用外部 API） |
Skills 层（用户意图）
面向用户的任务层，将自然语言映射到具体操作：
| Skill | 类型 | 描述 |
|---|---|---|
| 点外卖(小美) | Delegation | 直接打开小美 AI 让它帮你点 |
| 点外卖(美团) | GUI 自动化 | 在美团 App 上一步步操作 |
| 导航(高德) | Delegation | DeepLink 直达高德搜索 |
| 生成图片(即梦) | Delegation | 打开即梦 AI 生成图片 |
| 发微信 | GUI 自动化 | 自动操作微信发消息 |
两种执行模式：
-
Delegation（委托）：高置信度匹配时，直接通过 DeepLink 打开有 AI 能力的 App（如小美、豆包、即梦），让它们完成任务。快速、一步到位。
-
GUI 自动化：没有 AI 能力的 App（如美团、微信），通过传统的截图-分析-操作循环完成。Skill 会提供操作步骤指导，提高成功率。
- 基于先进的视觉语言模型（VLM），能够"看懂"屏幕内容
- 自然语言指令，说人话就能操作手机
- 智能决策，根据屏幕状态自动规划下一步操作
这可能是所有手机自动化开源项目中 UI 做得最好看的。
- 现代化 Material 3 设计语言
- 流畅的动画效果
- 深色/浅色主题自适应
- 精心设计的首次使用引导
- 完整的中英文双语支持
- 支持多种 VLM：阿里云通义千问、OpenAI GPT-4V、Claude 等
- 预设 API 服务商：阿里云、OpenAI、OpenRouter 一键切换
- 从 API 动态获取可用模型列表，支持模糊搜索
- 可配置自定义 API 端点，支持本地模型（Ollama、vLLM 等）
- API Key 使用 AES-256-GCM 加密存储
- 检测到支付、密码等敏感页面自动停止
- 任务执行全程可视，悬浮窗显示进度
- 随时可以手动停止任务
- 可选的云端崩溃上报（可在设置中关闭）
当 Shizuku 以 Root 权限运行时，肉包可以启用 Root 模式：
- Root 模式：解锁更多系统级操作能力
- su 命令：允许执行
su -c命令（需谨慎使用） - 自动检测：自动检测 Shizuku 权限等级（ADB/Root），非 Root 环境下该选项为灰色不可用
- Android 8.0 (API 26) 或更高版本
- WiFi 网络 - Shizuku 无线调试依赖 WiFi 连接，确保手机已连接 WiFi
- Shizuku - 用于获取系统级控制权限
- VLM API Key - 需要视觉语言模型的 API 密钥（如阿里云通义千问）
Shizuku 是一个开源工具，可以让普通应用获得 ADB 权限，无需 Root。
启动方式（二选一）：
无线调试（推荐，需 Android 11+）
- 进入
设置 > 开发者选项 > 无线调试 - 开启无线调试
- 在 Shizuku App 中选择"无线调试"方式启动
电脑 ADB
- 手机连接电脑，开启 USB 调试
- 执行：
adb shell sh /storage/emulated/0/Android/data/moe.shizuku.privileged.api/start.sh
从 Releases 页面下载最新 APK 安装。
- 打开肉包 App
- 在 Shizuku 中授权肉包
⚠️ 重要：进入设置页面，配置你的 API Key
阿里云通义千问（推荐国内用户）
- 访问 阿里云百炼平台
- 开通 DashScope 服务
- 在 API-KEY 管理中创建密钥
OpenAI（需要代理）
- 访问 OpenAI Platform
- 创建 API Key
帮我点个附近好吃的汉堡
打开网易云音乐播放每日推荐
帮我把最后一张照片发送到微博
帮我在美团点一份猪脚饭
打开B站看热门视频
┌──────────────────────────────────────────────────────────────┐
│ 肉包 App │
├──────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ UI 层 (Compose) │ │
│ │ HomeScreen / Settings / History │ │
│ └─────────────────────────────────────────────────────┘ │
│ │ │
│ ┌────────────────────────▼────────────────────────────┐ │
│ │ Skills 层 │ │
│ │ SkillManager → 意图识别 → 快速路径/标准路径 │ │
│ │ ┌─────────────────────────────────────────────┐ │ │
│ │ │ 点外卖 │ 导航 │ 打车 │ 发微信 │ AI画图 │ ... │ │ │
│ │ └─────────────────────────────────────────────┘ │ │
│ └─────────────────────────────────────────────────────┘ │
│ │ │
│ ┌────────────────────────▼────────────────────────────┐ │
│ │ Tools 层 │ │
│ │ ToolManager → 原子能力封装 │ │
│ │ ┌─────────────────────────────────────────────┐ │ │
│ │ │ search_apps │ open_app │ deep_link │ clipboard │ │
│ │ │ shell │ http │ screenshot │ tap │ swipe │ type │ │
│ │ └─────────────────────────────────────────────┘ │ │
│ └─────────────────────────────────────────────────────┘ │
│ │ │
│ ┌────────────────────────▼────────────────────────────┐ │
│ │ Agent 层 │ │
│ │ MobileAgent (移植自 MobileAgent-v3) │ │
│ │ ┌───────────┬───────────┬───────────┬──────────┐ │ │
│ │ │ Manager │ Executor │ Reflector │ Notetaker│ │ │
│ │ │ (规划) │ (执行) │ (反思) │ (记录) │ │ │
│ │ └───────────┴───────────┴───────────┴──────────┘ │ │
│ └─────────────────────────────────────────────────────┘ │
│ │ │
│ ┌────────────────────────▼────────────────────────────┐ │
│ │ VLM Client │ │
│ │ Qwen-VL / GPT-4V / Claude │ │
│ └─────────────────────────────────────────────────────┘ │
│ │ │
├────────────────────────────┼────────────────────────────────┤
│ ▼ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ Shizuku │ │
│ │ System-level Control │ │
│ │ screencap │ input tap │ input swipe │ am start │ │
│ └─────────────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────────────┘
用户输入指令
│
▼
┌─────────────────┐
│ Skills 匹配 │ ← 检查是否有对应的 Skill
└─────────────────┘
│
├── 高置信度 Delegation Skill ──▶ 直接 DeepLink 跳转 ──▶ 完成
│
▼
┌─────────────────┐
│ 标准 Agent 循环 │
└─────────────────┘
│
▼
┌──────────────────────────────────────────────┐
│ 1. 截图 - Shizuku screencap │
│ 2. Manager 规划 - VLM 分析当前状态 │
│ 3. Executor 决策 - 确定下一步操作 │
│ 4. 执行动作 - tap/swipe/type/open_app │
│ 5. Reflector 反思 - 评估操作效果 │
│ 6. 循环直到完成或安全限制 │
└──────────────────────────────────────────────┘
app/src/main/java/com/roubao/autopilot/
├── agent/ # AI Agent 核心 (移植自 MobileAgent-v3)
│ ├── MobileAgent.kt # Agent 主循环
│ ├── Manager.kt # 规划 Agent
│ ├── Executor.kt # 执行 Agent
│ ├── ActionReflector.kt # 反思 Agent
│ ├── Notetaker.kt # 笔记 Agent
│ └── InfoPool.kt # 状态池
│
├── tools/ # Tools 层 - 原子能力
│ ├── Tool.kt # Tool 接口定义
│ ├── ToolManager.kt # 工具管理器
│ ├── SearchAppsTool.kt # 应用搜索
│ ├── OpenAppTool.kt # 打开应用
│ ├── DeepLinkTool.kt # DeepLink 跳转
│ ├── ClipboardTool.kt # 剪贴板操作
│ ├── ShellTool.kt # Shell 命令
│ └── HttpTool.kt # HTTP 请求
│
├── skills/ # Skills 层 - 用户意图
│ ├── Skill.kt # Skill 接口定义
│ ├── SkillRegistry.kt # Skill 注册表
│ └── SkillManager.kt # Skill 管理器
│
├── controller/ # 设备控制
│ ├── DeviceController.kt # Shizuku 控制器
│ └── AppScanner.kt # 应用扫描 (拼音/语义搜索)
│
├── vlm/ # VLM 客户端
│ └── VLMClient.kt # API 调用封装
│
├── ui/ # 用户界面
│ ├── screens/ # 各个页面
│ ├── theme/ # 主题定义
│ └── OverlayService.kt # 悬浮窗服务
│
├── data/ # 数据层
│ └── SettingsManager.kt # 设置管理
│
└── App.kt # Application 入口
app/src/main/assets/
└── skills.json # Skills 配置文件
- 原生 Android 实现 - Kotlin 重写 MobileAgent，摆脱 Python 依赖
- Tools 层 - 原子能力封装（search_apps、deep_link、clipboard 等）
- Skills 层 - 用户意图映射，支持 Delegation 和 GUI 自动化两种模式
- 智能应用搜索 - 拼音、语义、分类多维度匹配
- 快速路径 - 高置信度 Skill 直接 DeepLink 跳转
正在开发的重大更新，目前在
roubao2.0+AccessibilityService分支
-
无障碍服务混合模式 - 集成 AccessibilityService，实现更精准的 UI 操作
- 优先使用元素索引点击（不受屏幕变化影响）
- 智能回退：索引模式失败时自动切换到坐标模式
- 无需 Root，进一步降低使用门槛
-
UI 树感知 - Agent 能够获取完整的 UI 结构
- 识别可点击元素、输入框、滚动区域
- 为 LLM 提供结构化 UI 上下文
- 减少纯视觉误判
-
宏脚本系统 - 录制、存储、回放操作序列
- 将执行过程录制为可重复播放的脚本
- 支持循环播放、延时控制
- 脚本管理界面（新增"脚本"导航页）
-
设置增强
- 无障碍服务开关与引导
- 混合模式状态展示
- MCP (Model Context Protocol) - 接入更多能力扩展，如日历、邮件、文件管理等
- 执行录屏 - 保存任务执行过程视频，方便回顾和调试
- 更多 Skills - 扩充内置 Skills，支持用户自定义
- 更多设备支持 - 适配更多 Android 设备和定制系统（MIUI、ColorOS、HarmonyOS 等）
- 本地模型 - 支持在设备端运行小型 VLM，实现离线使用
- 任务模板 - 保存和分享常用任务
- 多应用协作 - 跨 App 联动完成复杂工作流
- 智能学习 - 从用户操作习惯中学习，优化执行策略
- 语音控制 - 语音唤醒和语音指令
- Android Studio Hedgehog 或更高版本
- JDK 17
- Android SDK 34
# 克隆仓库
git clone https://github.com/yourusername/roubao.git
cd roubao
# 构建 Debug 版本
./gradlew assembleDebug
# 安装到设备
./gradlew installDebug遇到崩溃或 Bug？请通过以下方式反馈：
- 打开肉包 App → 设置
- 找到「反馈与调试」分组
- 点击「导出日志」
- 选择分享方式（微信、邮件等）发送给开发者
- 设备型号和 Android 版本
- 应用版本号
- 崩溃堆栈信息（如有）
- 操作日志
💡 日志文件不包含您的 API Key 或个人隐私信息
请在 GitHub Issues 提交问题，附上：
- 问题描述
- 复现步骤
- 导出的日志文件
欢迎提交 Issue 和 Pull Request！
- Fork 本仓库
- 创建特性分支 (
git checkout -b feature/amazing-feature) - 提交更改 (
git commit -m 'Add some amazing feature') - 推送到分支 (
git push origin feature/amazing-feature) - 开启 Pull Request
本项目基于 MIT 许可证开源。详见 LICENSE 文件。
- MobileAgent - 阿里达摩院 X-PLUG 团队开源的移动端 Agent 框架，为本项目提供了重要的技术参考
- Shizuku - 优秀的 Android 权限管理框架
Made with ❤️ by Roubao Team