1.解析数据：lxml.etree xpath re BeautifulSoup pyquery
2.数据提取：selenium requests scrapy Appium pyspider
3.数据存储： ;MySQL(pymysql) MongoDB(pymongo) redis
4.常见反爬博弈技巧：
headers验证或校对请求信息，请求头的使用
网页返调试措施csdn有解决办法
ip封禁使用代理ip，站大爷就挺好用的接口加密一般post请求用到，Get请求所见即所得不会有加密，
接口加密涉及到js逆向分析技术第三方包Execjs可以在python代码中运行js代码从而获取人家js代码执行数据
验证码还有登陆阻拦文字验证，数字计算就要用到selenium加牛逼技术，牛逼技术可百度
5.数据获取速度：
使用线程池 进程池 协程 比较方便 传统线程也能使用不过比较麻烦，还有队列模块可以给线程加锁不让数据丢失
6.Http协议http1协议就是http://www.xxx.comhttp2协议就是https://www.xxx.com
以上内容已经涉及很多爬虫技术，还有很多好玩强大的技术后面会持续更新，文章有些地方写的不详细或者不对后续会修改
版权声明：本文为qq2981118661原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。