想在Windows系统里实现一些程序的点击操作

如果用类似按键精灵的包是pyautogui，也可以针对一个图片进行点击，但都不是很精准；

通过pywinauto可以智能找到相关程序、按钮和菜单，实现启动、关闭、点击，输入文字等功能。

一、pywinauto

特点：通过进程、菜单、按钮等直接控制

（一）入门

1. 安装

安装的时候，遇到了一些插件需要再装

ModuleNotFoundError: No module named ‘win32api’

提示错误，需要安装pypiwin32这个插件：

pip install pypiwin32

又提示错误

ModuleNotFoundError: No module named ‘six’

装完提示，需要comtypes

完成安装

2. 判断程序类型backend

程序的backend有如下两种：

• win32：MFC, VB6, VCL, simple WinForms，旧应用
  
  探测方式：Spy++
• UIA，WinForms, WPF, Store apps, Qt5, browsers，很多都是这类
  
  探测方式：系统自带工具inspect，目前已升级为Accessibility Insights
  
  官网下载https://accessibilityinsights.io/

还有一种py_inspect支持以上两种类型

只有当以上工具都探测不到的时候，再考虑用鼠标和键盘

3. 建立入口

• Application 可以在一个程序的多个实例间切换，每个实例都是一个进程
• Desktop组件，利用suprocess.Popen 单个程序实例由多进程组成，例如win10的计算器

from pywinauto.application import Application
app = Application(backend="uia").start('notepad.exe')

# describe the window inside Notepad.exe process
dlg_spec = app.UntitledNotepad
# wait till the window is really open
actionable_dlg = dlg_spec.wait('visible')

from subprocess import Popen
from pywinauto import Desktop

Popen('calc.exe', shell=True)
dlg = Desktop(backend="uia").Calculator
dlg.wait('visible')

最终都是timeout，可能我的电脑没有计算器

这两个都是特定的程序类型，后面不用使用具体程序名称。

4. windows窗口规格

>>> dlg_spec = app.window(title='Untitled - Notepad')

>>> dlg_spec
<pywinauto.application.WindowSpecification object at 0x0568B790>

>>> dlg_spec.wrapper_object()
<pywinauto.controls.win32_controls.DialogWrapper object at 0x05639B70>

窗口规则是给后续高级操作用的，有更细节的操作，或在程序还没开启时用

其中wrapper是包装器，我运行报错

另外以下两个语言是一样的效果，相当于是简化了语言

dlg_spec.wrapper_object().minimize() # while debugging
dlg_spec.minimize() # in production

# can be multi-level
app.window(title_re='.* - Notepad$').window(class_name='Edit')

# can combine criteria 组合条件
dlg = Desktop(backend="uia").Calculator
dlg.window(auto_id='num8Button', control_type='Button')

5. 属性解析魔术

空格、逗号、大小写，都可以通过最佳匹配来查找

app.UntitledNotepad
# is equivalent to
app.window(best_match='UntitledNotepad')

一些unicode和特色字符，可以像字典一样

app['Untitled - Notepad']
# is the same as
app.window(best_match='Untitled - Notepad')

6. 如何知道魔术的属性名称

• By title (window text, name) 按标题

app.Properties.OK.click()

• By title and control type 按标题和控制类型

app.Properties.OKButton.click()

• By control type and number 按控制类型和编号

app.Properties.Button3.click() 

(Button0和Button1是同一个按钮，Button2才是下一个)

• By top-left label and control type 左上标签和控制类型

app.OpenDialog.FileNameEdit.set_text("")

• By control type and item text 控制类型和项目文本
  
  app.Properties.TabControlSharing.select(“General”)

不是所有同时可用，针对特定的对话框，可使用以下命令检查名称，通过最佳匹配名称，列出所有的子项：

app.UntitledNotepad.print_control_identifiers()
Control Identifiers:
Notepad - '无标题 - 记事本'    (L251, T293, R642, B681)
['无标题 - 记事本Notepad', 'Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L259, T344, R634, B651)
   | ['Edit', '无标题 - 记事本Edit'