什么是pywinauto
pywinauto是一组用于自动化Microsoft Windows GUI的python模块。 最简单的是,它允许您将鼠标和键盘操作发送到窗口对话框和控件。
pywinauto安装和启动
1.安装pywinauto
在 Pycharm 底部的终端(Terminal)窗口中输入
pip install pywinauto
提示success即安装成功了。
2.backend选择
我们安装好Pywinauto之后,首先要确定哪种可访问性技术(backend)可以用于我们的应用程序,在windows上受支持的有两种:
Win32 API ( backend= "win32" ) -默认的backend
MFC, VB6, VCL, 简单的WinForms控件和大多数旧的遗留应用程序
MS UI Automation ( backend="uia" )
WinForms, WPF, Store apps, Qt5, 浏览器
如果不能确定程序到底适用于那种backend,可以借助于GUI对象检查工具来查看,常用的检查工具有Inspect.exe,Spy++ 。如果使用Inspect的UIA模式,可见的控件和属性更多的话,backend可选uia,反之,backend可选win32。
3.控件查看工具-inspect
inspect.exe下载链接:https://z4gvregzdz.feishu.cn/file/boxcnoI8GOg5aIWaYTVXL8hyWzc
spy++下载链接:https://z4gvregzdz.feishu.cn/file/boxcnqlUR6yBhvuJsoFiUVrVGpe
将inspect左上角的下拉列表中切换到“UI Automation”,然后鼠标点一下你需要测试的程序窗体,inspect就会显示相关信息,如下图所示。说明backend为uia
程序里面的任意一个部位其实都是控件,在inspect的控件树中都可以找到,是一层一层分级别的,可以一个个点开所有控件
完整操作步骤
通过pywinauto操作控件需要以下几个步骤:
第一步 :创建实例化对象,得到的app是Application对象
第二步 :选择窗口 ,得到的窗口是WindowSpecification对象
第三步:基于WindowSpecification对象使用其方法再往下查找,定位到具体的控件
第四步:使用控件的方法属性执行我们需要的操作
接下来我们先看一个实例代码,(确保电脑版微信已经登录且前台显示在桌面上)按照上面的步骤获取微信的搜索文本框并点击,代码如下:
from pywinauto import Application
# 第一步连接已有微信进程创建实例化对象
PID = 12345 #进程PID在 任务管理器-详细信息 可以查看后修改该值
微信主程序 = Application(backend='uia').connect(process=PID)
# 第二步拿到微信主窗口
主窗口 = 微信主程序.window(class_name='WeChatMainWndForPC')
# 第三步通过child_window方法查找搜索文本框
搜索 = 主窗口.child_window(control_type='Edit', title='搜索')
# 第四步进行操作点击控件
搜索.click_input()
执行后就会自动点击微信左上角搜索文本框了(注意:由于PID是变化的,以上代码一定能执行成功后面会详细介绍)。
接下来,我们按照上面四步逐步讲解,
1.创建实例化对象
以微信为例,这里介绍下常用的两种获取实例化程序的方式:
启动
start()用于还没有启动软件的情况。timeout为超时参数(可选),若软件启动所需的时间较长可选
timeout,默认超时时间为5s。
start(self, cmd_line, timeout=app_start_timeout)
先确定微信是关闭的,我们通过上面方法启动微信并获取对应的实例化对象,如下:
from pywinauto import Application
# 启动微信进程(注意路径中特殊字符的转义,/和\)
app = Application(backend="uia").start(r'"E:\Program Files
(x86)\Tencent\WeChat\WeChat.exe"')
print(app)
运行后将会自动启动微信。
连接
connect()用于连接已经启动的程序。connect()方式有多种:
process:进程id(PID)
app = Application().connect(process=12580)
handle:应用程序的窗口句柄
app = Application().connect(handle=0x234f1b)
path:进程的执行路径(GetModuleFileNameEx 模块会查找进程的每一个路径并与我们传入的
路径去做比较)
app = Application().connect(path=“c:\windows\system32\notepad.exe”)
参数组合(传递给pywinauto.findwindows.find_elements()这个函数)
app = Application().connect(title_re=".*Notepad", class_name=“Notepad”)
下面我们介绍下通过进程PID与窗口句柄两种链接已启动程序的方式:
PID在 任务管理器-详细信息 可以查看。如下图,WeChat.exe的PID就是18364。
from pywinauto.application import Application
# 通过PID连接已有微信进程
微信主程序 = Application(backend='uia').connect(process=18364)
print(微信主程序)
在星球中也有提到运利用第三方库psutil根据进程名获取进程PID的文章,有兴趣可以去看看,这里就不做详细介绍了。
在前面游戏自动化中学习了如何获取窗口的句柄,所以我们本着偷懒的原则还可以通过pywin32模块根据窗口名获取窗口句柄,然后获取根据句柄来获得主程序,代码如下:
import win32gui
from pywinauto.application import Application
句柄 = win32gui.FindWindow(None, '微信')
微信主程序 = Application(backend='uia').connect(handle=句柄)
print(微信主程序)
注意:应用程序必须先准备就绪,才能使用connect0)。当应用程序start()后没有超时和重连的机制,在pywinauto外启动启动应用程序,则需要睡眠或编程等待循环以等待应用程序完全启动。
实例对象app的常用方法
通过查看pywinauto的源码中application.py文件,可以看到app的所有属性方法,下面列举常用方
法:
app.top_window()
返回应用程序当前顶部窗口,是WindowSpecification对象,可以继续使用对象的方法往下继续
查找控件
如:app.top_window().child_window(title='搜索', control_type='Edit')
app.window(kwargs)
根据筛选条件,返回一个窗口, 是WindowSpecification对象,可以继续适用对象的方法往下继
续查找控件
微信主界面: app.window(class_name='WeChatMainWndForPC')
app.windows(kwargs)
根据筛选条件返回一个窗口列表,无条件默认全部,列表项为wrapped对象,可以使用wrapped
对象的方法,注意不是WindowSpecification对象
[<uiawrapper.UIAWrapper - '微信', Dialog, -5995915281609806513>]
app.kill(soft=False)
强制关闭程序
app.cpu_usage()
返回CPU使用率百分比
app.wait_cpu_usage_lower(threshold=2.5, timeout=None, usage_interval=None)
等待进程CPU使用率百分比小于指定的阈值threshold
app.is64bit()
判断操作的进程是否是64-bit
简单演示下。
from pywinauto.application import Application
# 通过PID连接已有微信进程
微信主程序 = Application(backend='uia').connect(process=18364)
print(微信主程序.top_window())
print(微信主程序.window())
print(微信主程序.windows())
print(微信主程序.cpu_usage())
print(微信主程序.is64bit())
2.选择窗口
pywinauto选择窗口有三种方式,获取到的窗口为 WindowSpecification对象。
dlg = app.window(title="your title", classname="your class", ...)
dlg = app.YourDialogTitle
dlg = app['Your Dialog Title']
以微信主界面窗口为例,先通过inspect工具查看微信的窗体信息:
按照上面的方法我们有三种方式来选取窗口,代码如下:
from pywinauto.application import Application
import win32gui
# 根据应用程序窗口名获得句柄
句柄 = win32gui.FindWindow(None, '微信')
# 通过句柄连接已有微信进程
app = Application(backend='uia').connect(handle=句柄)
dlg = app.window(class_name='WeChatMainWndForPC')
# dlg = app.微信
# dlg = app['微信']
dlg.restore() # 将窗口恢复为正常大小,比如最小化的让他正常显示在桌面
dlg.draw_outline(colour='red') # 控件外围画框,便于查看,支持'red', 'green', 'blue'
前面我们一直是手动先将微信窗口放置到前台,上面代码中我们利用restore()方法就可以自动将窗口恢复到正常大小了,利用draw outline可以将控件外围画框,非常便于调试。
窗口的常用方法
下面则是窗口平时常用的一些方法:
# 以下几个只支持窗口模式的控件
dlg.close() # 关闭界面
dlg.minimize() # 最小化界面
dlg.maximize() # 最大化界面
dlg.restore() # 将窗口恢复为正常大小,比如最小化的让他正常显示在桌面
dlg.get_show_state() # 正常0,最大化1,最小化2
dlg.exists(timeout=None, retry_interval=None) # 判断是否存在
#timeout:等待时间,一般默认5s
#retry_interval:timeout内重试时间
dlg.wait(wait_for, timeout=None, retry_interval=None) # 等待窗口处于特定状态
dlg.wait_not(wait_for_not, timeout=None, retry_interval=None) # 等待窗口不处于特定状
态,即等待消失
# wait_for/wait_for_not:
# * 'exists' means that the window is a valid handle
# * 'visible' means that the window is not hidden
# * 'enabled' means that the window is not disabled
# * 'ready' means that the window is visible and enabled
# * 'active' means that the window is active
# timeout:等待多久
# retry_interval:timeout内重试时间# eg: dlg.wait('ready')
代码如下:
import time
from pywinauto.application import Application
import win32gui
# 根据应用程序窗口名获得句柄
句柄 = win32gui.FindWindow(None, '微信')
# 通过句柄连接已有微信进程
微信主程序 = Application(backend='uia').connect(handle=句柄)
微信窗口 = 微信主程序.window(class_name='WeChatMainWndForPC')
微信窗口.restore() # 将窗口恢复为正常大小,比如最小化的让他正常显示在桌面
微信窗口.draw_outline(colour='red') # 控件外围画框,便于查看,支持'red', 'green', 'blue'
time.sleep(2)
微信窗口.maximize() # 最小化界面
print(微信窗口.get_show_state())
time.sleep(2)
微信窗口.minimize() # 最大化界面
print(微信窗口.get_show_state())
time.sleep(2)
微信窗口.restore() # 将窗口恢复为正常大小,比如最小化的让他正常显示在桌面
print(微信窗口.get_show_state())
3.定位控件
最常用查找控件方法
找到窗口后,我们就需要查找我们所需要的控件了。在pywinauto中查找控件都是通过层级查找的,我们通过inspect工具也可以看到一个窗口中所有控件都是成树状的层级结构的。
最常用的查找控件的方法就是child_window(**kwargs)
child_window(**kwargs) # 可以不管层级的找后代中某个符合条件的元素,最常用
kwargs为筛选条件,最常用的就是class_name、title和control_type。
class_name=None, # 类名,对应ClassName
title=None, # 控件的标题文字,对应inspect中Name字段
control_type=None, # 控件类型,inspect界面LocalizedControlType字段的英文名
kwargs筛选条件可以设置一个或多个。
这里有个小技巧,inspect界面LocalizedControlType字段的英文名对应其实就是ControlType字段去除 UIA_和 ControlTypeId 。
class_name在选择微信窗口时已经使用过了,这里就不再介绍了。下面介绍下另外两种筛选参数。
title参数的使用如下:
from pywinauto.application import Application
import win32gui
# 根据应用程序窗口名获得句柄
句柄 = win32gui.FindWindow(None, '微信')
# 通过句柄连接已有微信进程
微信主程序 = Application(backend='uia').connect(handle=句柄)
# 拿到微信主窗口
微信窗口 = 微信主程序.window(class_name='WeChatMainWndForPC')
微信窗口.restore()
搜索 = 微信窗口.child_window(title='搜索')
print(搜索.window_text())
搜索.draw_outline(colour='red')
draw outline不仅对窗口有用,对窗口中的控件也是可用的。
但是这里会有一个问题,当你的窗口中出现多个标题为 搜索 的控件时,我们上面的代码就会报错
ElementAmbiguousError,所以我们还需要添加更多的筛选条件,比如上面所说的control_type。
from pywinauto.application import Application
import win32gui
# 根据应用程序窗口名获得句柄
句柄 = win32gui.FindWindow(None, '微信')
# 通过句柄连接已有微信进程
微信主程序 = Application(backend='uia').connect(handle=句柄)
# 拿到微信主窗口
微信窗口 = 微信主程序.window(class_name='WeChatMainWndForPC')
微信窗口.restore()
搜索 = 微信窗口.child_window(control_type='Edit', title='搜索') # 多个筛选条件确定唯一的
控件
print(搜索.window_text())
搜索.draw_outline(colour='red)
当然也可以通过添加筛选参数found index来取多个筛选结果中的一个,使用方法如下:
found index=0,取值从0开始
from pywinauto.application import Application
import win32gui# 根据应用程序窗口名获得句柄
句柄 = win32gui.FindWindow(None, '微信')
# 通过句柄连接已有微信进程
微信主程序 = Application(backend='uia').connect(handle=句柄)
# 拿到微信主窗口
微信窗口 = 微信主程序.window(class_name='WeChatMainWndForPC')
微信窗口.restore()
搜索 = 微信窗口.child_window(title='搜索', found_index=0)
print(搜索.window_text())
搜索.draw_outline(colour='red')
这里还需要注意一点,当要查找的控件不存在时,程序会报错ElementNotFoundError(kwargs)
4.操作控件
定位到控件后就是对控件进行操作了,下面介绍几种最常用的方法与属性。
控件常用的方法属性
ctrl.click_input() # 最常用的点击方法,一切点击操作的基本方法(底层调用只是参数不同),左键单
击,使用时一般都使用默认不需要带参数
# 键盘输入
ctrl.type_keys(keys, pause = None, with_spaces = False,)
# keys:要输入的文字内容
# pause:每输入一个字符后等待时间,默认0.01就行
# with_spaces:是否保留keys中的所有空格,默认去除0
# 调试经常用的属性与方法
ctrl.window_text() # 控件的标题文字,对应inspect中Name字段
ctrl.draw_outline(colour='green') # 控件外围画框,便于查看,支持'red', 'green', 'blue'
上面几种方法属性我们基本上就用到了,我们来看看输入的使用。
from pywinauto import Application
import win32gui
# 根据应用程序窗口名获得句柄
句柄 = win32gui.FindWindow(None, '微信')
# 通过句柄连接已有微信进程
微信主程序 = Application(backend='uia').connect(handle=句柄)
# 第二步拿到微信主窗口
主窗口 = 微信主程序.window(class_name='WeChatMainWndForPC')
# 第三步通过child_window方法查找搜索文本框
搜索 = 主窗口.child_window(control_type='Edit', title='搜索')
# 第四步进行操作点击控件
搜索.click_input()
搜索.type_keys("有霸夫") # 输入 有霸夫
实战 给微信好友发送消息
前面我们已经学会了pywinauto操作的基本步骤,那接下来我们进入实战。
实战要求如下:在微信搜索框中搜索 文件传输助手, 发一条 学Python,要努力。
步骤拆解如下:
1.连接已有微信进程创建实例化对象
2.拿到微信主窗口
3.查找搜索文本框
4.搜索框输中入文件传输助手
5.查找到联系人中文件传输助手
6.点击有文件传输助手
7.查找消息输入框
8.点击发送按钮。
我们通过inspect可以定位到这些控件的,实现代码如下:
from pywinauto import Application, ElementNotFoundError
import win32gui
import time联系人 = '文件传输助手' # 可以改成联系人名称
消息 = '学Python,要努力'try:句柄 = win32gui.FindWindow(None, '微信')if 句柄 == 0:raise RuntimeError("无法找到微信窗口")微信主程序 = Application(backend='uia').connect(handle=句柄)微信窗口 = 微信主程序.window(class_name='WeChatMainWndForPC')微信窗口.restore()搜索 = 微信窗口.child_window(control_type='Edit', title='搜索')搜索.click_input()搜索.type_keys(联系人)time.sleep(2) # 等待搜索结果加载搜索结果 = 微信窗口.child_window(control_type='List', title='@str:IDS_FAV_SEARCH_RESULT:3780')联系人项列表 = 搜索结果.children(control_type='ListItem', title=联系人)if not 联系人项列表:raise RuntimeError("没有找到匹配的联系人项")# 选择第一个匹配的项联系人项 = 联系人项列表[0]联系人项.click_input()消息输入框 = 微信窗口.child_window(control_type='Edit', title='文件传输助手')消息输入框.click_input()消息输入框.type_keys(消息)发送 = 微信窗口.child_window(control_type='Button', title='发送(S)')发送.click_input()except ElementNotFoundError as e:print(f"未找到指定的控件: {e}")
except RuntimeError as e:print(f"运行时错误: {e}")
except Exception as e:print(f"发生了一个错误: {e}")
课程总结
本节课程我们学习了inspect工具的使用,pywinauto操作控件的完整步骤。只要熟练掌握实例对象,选择窗口,定位控件,以及操作控件的相关方法,我们就已经可以开始编写一些软件自动化功能了。任何复杂的操作其实都可以化繁为简的,掌握基础,多写多练,相信同学们都能写出自己想要的功能的。
课后习题
模仿实战案例,搜索 有一个自己所在群聊 ,在群聊里发送一句 你好 的文本和一个得意 的表情。