基于 VLM 驱动的 Android 端侧 AI 智能助手,支持本地模型推理与屏幕级自动化操控。
OpenOmniBot 是由万象智维(OmniMind)开发的 Android 端侧 AI 智能助手,其核心能力是利用视觉语言模型(VLM)理解并操作手机界面,实现 App 操作、手势执行、系统设置等任务自动化。
项目采用原生 Android Kotlin + Flutter 混合架构,目标平台为 Android 11 至 Android 14。自动化引擎基于状态机模式管理任务生命周期(Companion、Learning、Scheduled 三种任务类型),通过无障碍服务实现屏幕感知与操控。数据层使用 Room 数据库配合 Flow 响应式观察及 MMKV 轻量存储。
推理能力分为两个版本:精简标准版依赖外部模型服务;完整版(omniinfer)集成 MNN 和 llama.cpp 双推理后端,支持端侧本地推理与离线运行。记忆系统提供短期与长期双层记忆,支持 Embedding 向量化。
扩展性方面,项目内置 Skills 技能系统(通过发送仓库链接即可安装)、MCP(Model Context Protocol)服务端集成、Alpine Linux 环境、嵌入式终端(ReTerminal)以及内置浏览器与文件工作区。子代理机制允许将完整任务分配给独立子代理执行。系统级集成覆盖闹钟、日历、音频播放控制及定时任务调度。
构建体系提供 Gradle 多变体支持(develop/production),开发者可根据需要选择标准版或 omniinfer 完整版进行构建。环境要求包括 Flutter SDK 3.9.2+、JDK 11+、Android SDK(Compile SDK 36, NDK ARMv7/ARM64)。
项目采用用户分段双重许可:非商业/个人/教育/研究用途遵循 GNU AGPL v3,商业用途需联系 omnimind.com.cn 签署商业许可证。当前最新版本为 v0.3.9,共 50 个发布版本,813+ 次提交。所属 OmniMind 产品线包括 OmniInfer、OmniStudio、OmniBot、OmniFlow、OmniRouter、OmniClaw、OmniCloud。