想在Windows系统里实现一些程序的点击操作
如果用类似按键精灵的包是pyautogui，也可以针对一个图片进行点击，但都不是很精准；
通过pywinauto可以智能找到相关程序、按钮和菜单，实现启动、关闭、点击，输入文字等功能。
一、pywinauto
特点：通过进程、菜单、按钮等直接控制
（一）入门
1. 安装
安装的时候，遇到了一些插件需要再装
ModuleNotFoundError: No module named ‘win32api’
提示错误，需要安装pypiwin32这个插件：
pip install pypiwin32
又提示错误
ModuleNotFoundError: No module named ‘six’
装完提示，需要comtypes
完成安装
2. 判断程序类型backend
程序的backend有如下两种：
-
win32：MFC, VB6, VCL, simple WinForms，旧应用
探测方式：Spy++ -
UIA，WinForms, WPF, Store apps, Qt5, browsers，很多都是这类
探测方式：系统自带工具inspect，目前已升级为Accessibility Insights
官网下载https://accessibilityinsights.io/
还有一种py_inspect支持以上两种类型
只有当以上工具都探测不到的时候，再考虑用鼠标和键盘
3. 建立入口
- Application 可以在一个程序的多个实例间切换，每个实例都是一个进程
- Desktop组件，利用suprocess.Popen 单个程序实例由多进程组成，例如win10的计算器
from pywinauto.application import Application
app = Application(backend="uia").start('notepad.exe')
# describe the window inside Notepad.exe process
dlg_spec = app.UntitledNotepad
# wait till the window is really open
actionable_dlg = dlg_spec.wait('visible')
from subprocess import Popen
from pywinauto import Desktop
Popen('calc.exe', shell=True)
dlg = Desktop(backend="uia").Calculator
dlg.wait('visible')
最终都是timeout，可能我的电脑没有计算器
这两个都是特定的程序类型，后面不用使用具体程序名称。
4. windows窗口规格
>>> dlg_spec = app.window(title='Untitled - Notepad')
>>> dlg_spec
<pywinauto.application.WindowSpecification object at 0x0568B790>
>>> dlg_spec.wrapper_object()
<pywinauto.controls.win32_controls.DialogWrapper object at 0x05639B70>
窗口规则是给后续高级操作用的，有更细节的操作，或在程序还没开启时用
其中wrapper是包装器，我运行报错
另外以下两个语言是一样的效果，相当于是简化了语言
dlg_spec.wrapper_object().minimize() # while debugging
dlg_spec.minimize() # in production
# can be multi-level
app.window(title_re='.* - Notepad$').window(class_name='Edit')
# can combine criteria 组合条件
dlg = Desktop(backend="uia").Calculator
dlg.window(auto_id='num8Button', control_type='Button')
5. 属性解析魔术
空格、逗号、大小写，都可以通过最佳匹配来查找
app.UntitledNotepad
# is equivalent to
app.window(best_match='UntitledNotepad')
一些unicode和特色字符，可以像字典一样
app['Untitled - Notepad']
# is the same as
app.window(best_match='Untitled - Notepad')
6. 如何知道魔术的属性名称
- By title (window text, name) 按标题
app.Properties.OK.click()
- By title and control type 按标题和控制类型
app.Properties.OKButton.click()
- By control type and number 按控制类型和编号
app.Properties.Button3.click()
(Button0和Button1是同一个按钮，Button2才是下一个)
- By top-left label and control type 左上标签和控制类型
app.OpenDialog.FileNameEdit.set_text("")
-
By control type and item text 控制类型和项目文本
app.Properties.TabControlSharing.select(“General”)
不是所有同时可用，针对特定的对话框，可使用以下命令检查名称，通过最佳匹配名称，列出所有的子项：
app.UntitledNotepad.print_control_identifiers()
Control Identifiers:
Notepad - '无标题 - 记事本' (L251, T293, R642, B681)
['无标题 - 记事本Notepad', 'Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
|
| Edit - '' (L259, T344, R634, B651)
| ['Edit', '无标题 - 记事本Edit'