AutoMandroid:基于录屏API的手机agent项目实现
大家好,我最近基于autoglm的灵感,实现了一个手机agent功能的项目,名为AutoMandroid。这个项目使用录屏API结合Shizuku ADB点击技术,可以在无需PC adb的情况下,通过提交API来控制手机应用。目前,我已经打包了一个apk版本,但请注意,这个版本是用随机key打包的,可能存在数据丢失的风险。使用AutoMandroid的基本需求包括安装并授权Shizuku和ADB keyboard,授予应用录屏权限,拥有一个openai兼容的API,以及一定的Android开发技能。
目前,AutoMandroid还存在一些已知问题,例如对某些游戏名称的识别不够准确,横向屏幕后的点击位置可能不可靠,录屏后某些应用界面元素可能被隐藏,以及UI设计较为简陋。未来,我计划在功能上引入无障碍、Window Hierarchy、root/magisk等特性,或者尝试获取system app权限甚至开发rom。此外,我也考虑引入预先定义的prompt或步骤,尝试其他API,开发外部Web UI,以及优化运行时的纠偏机制和UI/UX设计。
最后,我欢迎论坛中的各位大佬提出建议和意见,特别是在使用体验和功能需求方面。同时,我也鼓励大家对比GitHub上的其他项目,并给出宝贵意见。感谢大家的支持与参与!
评论已关闭