AI测试｜介绍一个基于Appium及视觉大模型的智能移动应用测试工具（开源）

📝 面试求职： 「面试试题小程序」 ，内容涵盖 测试基础、Linux操作系统、MySQL数据库、Web功能测试、接口测试、APPium移动端测试、Python知识、Selenium自动化测试相关、性能测试、性能测试、计算机网络知识、Jmeter、HR面试，命中率杠杠的。（大家刷起来…）

📝 职场经验干货：

软件测试工程师简历上如何编写个人信息（一周8个面试）

软件测试工程师简历上如何编写专业技能（一周8个面试）

软件测试工程师简历上如何编写项目经验（一周8个面试）

软件测试工程师简历上如何编写个人荣誉（一周8个面试）

软件测试行情分享（这些都不了解就别贸然冲了.）

软件测试面试重点，搞清楚这些轻松拿到年薪30W+

软件测试面试刷题小程序免费使用（永久使用）

工具介绍：

SmartDigger 项目是一个基于 Appium 及视觉大模型的智能移动应用测试工具。它能够自动检测应用界面中的弹窗，并智能处理各种弹窗场景，同时生成详细的元素边界数据报告，为移动应用测试提供高效、智能的解决方案。

开源项目地址：

https://gitee.com/grabby_Tester/smart-digger

迭代1

基于视觉模型的APP自动弹窗检测及关闭

功能特性

• 设备信息获取

  自动识别连接的 Android 设备，获取设备名称、分辨率等信息

• 界面元素分析

  实时截取应用界面，智能分析可点击元素及其边界信息

• 弹窗智能处理

  基于视觉大模型识别各类弹窗，自动执行关闭操作

• 数据报告生成

  自动记录元素边界信息，生成详细的 Markdown 格式报告

• 异常处理机制

  内置完善的错误处理机制，确保检测流程的稳定性

环境要求

• Python 3.8+

• Appium Server 1.22.0+

• Android 设备或模拟器（Android 8.0+）

• 视觉大模型 API 访问权限

运行效果

Case 1

系统

• 截图标注

  

• 运行日志

  

Case 2

抖音

• 截图标注

  

• 运行日志 ng)

  

参考

• mobile_agent

• browser_use 最强基于 Python 的 AI 浏览器自动化

迭代2

基于视觉模型的 APP 自动化任务异常诊断

迭代新增功能说明

1. 新增 rest-api 接口

2. 新增视觉模型，判断是弹窗后，保存弹窗模版

3. 新增对已存在的弹框模版进行图像比对

4. 优化整体项目结构，增加日志、存储等等配置

当前诊断系统核心业务逻辑

（本次迭代 60% 的代码为 AI 编写）

迭代3

基于视觉模型的 APP 自动化异常诊断中心

目前支持的诊断内容

支持弹窗视觉诊断

本次迭代任务

本次主要是优化性能，修复一些 bug

性能

初次弹窗：响应时间 3s

模版库匹配：响应时间 1s

模型耗费费用

单次 api 调用模型：toal_tokens:2080

截至目前调用 209719 Token(s) 话费：0.2076 元，估计调用快 100 次 api

最后： 下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保证100%免费】

​

​​​