相关链接：

一、高性能异步爬虫

本章节学习目的：在爬虫中使用异步实现高性能的数据爬取操作。

1.1、


异步爬虫的方式


：

1、多线程，多进程（不建议）：

好处：可以为相关阻塞的操作单独开启线程或进程，阻塞操作就可以异步操作执行。

弊端：无法无限制的开启多线程或多进程。

2、线程池、进程池（适当的使用）：

好处：我们可以降低系统对进程或线程创建和销毁的频率，从而很好的降低系统的开销。

弊端：池中线程或进程的数量是有上限。

线程池的基本使用




：

步骤1




:导入线程池模块对应的类




：from multiprocessing.dump import Pool （




pool应用到阻塞操作处




）

步骤2




:实例化一个线程池对象






pool




=




Pool




（4）

步骤3




:使用线程池处理这些操作






pool




.map(




get




_page，name_list）(




将列表中每一个列表元素传递给阻塞操作




（get_page)




处理




。

线程池使用基本原则：线程池处理的是阻塞且耗时的操作。

3、


单线程




+




异步协程




（




推荐




）


：

协程相关概念：

event_loop:事件循环，相当于无限循环，我们可以把一些函数注册到这个事件循环上，当满足某些条件的时候，函数就会被循环执行。

coroutine：协程对象，我们可以将协程对象注册到事件循环中，它会被事件循环调用。我们可以使用async关键字来定义一个方法，这个方法在调用时不会立即被执行，而是返回一个协程对象。

task：任务，它是对协程对象的进一步封装，包含了任务的各个状态。

future：代表将来执行或还没有执行的任务，实际上和task没有本质区别。

async：定义一个协程。

await：用来挂起阻塞方法的执行。

在异步协程中，如果出现了同步模块相同的代码


，


那么就无法实现异步

。（request.get是基于同步，必须使用基于异步的网络请求模块进行指定url的请求发送——

aiohttp


：


基于异步网络请求的模块

）

二、动态加载数据处理

2.


1、


selenium模块

selenium模块和爬虫之间的关系：

—便捷的获取网络中动态加载的数据。

—便捷实现模拟登陆

什么是selenium模块？

基于浏览器自动化的一个模块。（浏览器自动化：可以通过编写代码，让代码表示行为动作，让代码操作浏览器，实现浏览器自动化的操作）

selenium使用流程：

—环境安装：pip install selenium

—下载一个浏览器的驱动程(http://chromedriver.storage.googleapis.com/index.html)

—驱动程序和浏览器的映射关系         （https://blog.csdn.net/huilan_same/article/details/51896672）

—实例化一个浏览器对象

—编写基于浏览器自动化的操作代码

2.2、


seleium其他自动化操作

发起请求：get（url）

标签定位：find系列方法

标签交互：send_keys（‘xxx’）

执行js程序：excute_script(‘jsCode’)

前进，后退：back（），forward（）

关闭浏览器：quit（）

2.


3、


selenium处理iframe

如果定位的标签是存在于iframe标签之中的则必须通过如下操作进行标签定位：

bro.


switch_to.frame(‘iframeReuslt’)


# 切换浏览器标签定位的作用域

动作链（拖动）：


from






selenium




.webrive import ActionChains（




导入动作链对应的类




）

—实例化一个动作链对象：action = ActionChains（bro）

—click_and_hild(div) :长按且点击操作

—move_by_offset(x,y)

—perform()让动作链立即执行

—action.release() 释放动作链对象