目录
一 科普
注：以下“爬虫”均指“垂直爬虫”
1.非爬虫方向的技术转行做爬虫是否可行？
可行，而且有一定的基础会很容易上手，至于深入的部分就看自己了。
2.非技术转行做爬虫是否可行？
可行，但我认为较难，因为爬虫做深了以后是需要你了解各种相关领域知识的，而你现在对这些领域的东西一无所知，甚至可能连编程都还不知道怎么开始，起点会比有基础的人低很多。
3.爬虫工作日常如何？加班多不多？
这个得看公司的，有些公司搞得都是些天天更新反爬的平台（比如工商信息相关的），那基本就是得一直盯着看会不会出问题，一不小心就会要加班。
4.爬虫对于学生党的用处体现在哪些地方？
这个问题看个人，因为爬虫技术可用的地方太多了，没法一个一个地都拿出来说。比如你想搞个自动签到的工具，这其实本质上就是爬虫；比如你想搞个自动回复设定内容的机器人，这其实本质上也是爬虫。
5.学到什么程度才能入职爬虫工程师？
我觉得首先发请求不用说了吧？抓包工具的使用也不用说了吧？熟练掌握XPath、正则表达式这种解析工具也是基本的，然后JSON之类的传输格式至少要了解过长啥样吧，再就是JS逆向总得会一点吧（从只改变量名函数名混淆级别的代码中找出加密参数生成部分的程度）。差不多会这些以后，再自己做几个项目，应聘个初级爬虫工程师没啥问题。
6.如何成为一名优秀的爬虫工程师？
垂直爬虫做到后面本质上就是逆向，你需要有良好的逆向思维方式，并且对一些安全领域的骚东西也有一定的了解，这样你才能游刃有余地处理高难度的反爬。
7.学爬虫的学习路线？
上面的入职水平了解一下？然后就是可以关注一下我的公众号「
小周码字
」（猪哥强力推荐）学习进阶内容，网上其他的教程绝对没有讲得这么细的。
8.大约学习并从事爬虫几年才可以达到一个不错的高度？
这个问题也很看个人，我觉得主要看有没有需求逼迫成长吧。之前招人的时候，很多三年经验的也就比入门水平稍微好一点，他们在工作时所遇到的难点几乎全是依靠自动化测试工具，对逆向水平毫无增长。
所以建议还是多依靠逆向手段去解决问题，成长速度会很快
。
9.薪资方面如何，在几年内可以达到15K？
同上，标15K及以上的招聘JD还是挺多的，看看招聘需求就知道大概到什么程度了。
10.面试爬虫哪些技能点是加分项？
丰富且有深度的逆向经验、熟悉通信协议底层实现、做过骚东西等各种，但主要还是逆向经验。
11.作为一名爬虫工程师，对该岗位的前景如何看待？
未来主要内容在APP上的平台应该会越来越多，难度也会越来越高，所以对于爬虫工程师的逆向水平要求会越来越高，只会简单逆向甚至不会逆向的人找工作会越来越难。
12.爬虫和数据挖掘是一样的吗？
不一样，爬虫只是将数据取回来，具体怎么分析才是数据挖掘的事情。
13.爬虫是否和黑客差不多？
差很多，与上个问题类似，只不过“黑客”这个词太宽泛了，黑客也是有具体方向的。
14.千奇百怪的验证码只能对接打码平台吗？有啥其他办法？
自己破呗，逆向+机器学习。
15.现在有用pyppeteer吗？还是一直是selenium？
都不用，因为效率太低了。
16.如何爬xx平台？
涉及法律问题，这种针对某个平台的东西是不能细说的。
17.爬虫违法吗？如何避免过线导致的违法？怎么规避法律风险？
算是擦边球吧，其实你即使遵守规则去爬别人的网站，只要人家想搞你，还是可以让你做的事情变成违法的。所以建议不要做太过分的事情，毕竟狗急了也会跳墙。
还有就是不要为一些明显是做灰黑产的人/公司写代码，一旦他们出事了，你也会被牵连。
知乎上之前那个很火的被抓了的人，从回答内容中来看其实就是做打码平台的那个微凉，他这一个平台据说赚了至少千万，主要应该是提供给做黑产的人使用了，这种其实被抓是迟早的事。最好的避免违法的办法就是明显觉得不太好的事情就不要去碰，基本就不会有啥问题。
18.如何有目的地爬取到真正想要的数据？
让需要数据的人提需求，如果你自己就是那个需要数据的人，那就去做市场调研，看看你需要的数据在哪里能找到。
19.反爬虫最先进的技术是什么？最有效的技术是什么？
最先进的技术其实就是使用在PC平台上已经玩烂的各种反破解技术将行为监测点（设备指纹、用户操作等）隐藏起来，然后传给服务端做行为识别，如果操作非人类或者缺少某些东西就触发风控。
最有效的技术其实不是技术而是方法，这个方法就是账号收费，将你的数据变成需要花多少钱才能看到这样子的，就能做到啥高端技术都不用上、轻松提高爬虫方的获取数据成本的效果，当然这也需要结合良好的产品设计，否则普通用户的体验会很差。
20.请问在xx领域有哪些应用？
这个应该是对应领域的人自己思考一下自己拿到那些公开数据究竟可以做什么。
21.需要大量账号的平台成本过高该怎么办？
人家就是依靠这种方式来提高你成本的，你如果觉得成本过高要么放弃要么换一条路线获取数据。
二、为何Python会被选用为黑客语言呢？
1.支持功能强大的黑客攻击模块。如前所述，Python 的优点之一是拥有丰富多样的库。Python 提供多种库，用于支持黑客攻击，比如 pydbg、scapy、sqlmap、httplib 等。目前，这些库被广泛应用于各种黑客攻击。
2.能够访问各种 API。Python 提供了 ctypes 库， 借 助 它， heikei 可 以 访 问 Windows、OS X、Linux、Solaris、FreeBSD、OpenBSD 等系统提供的 DLL 与共享库。
3.大量heike攻击工具提供 Python API。最具代表性的heike攻击工具有 sqlmap、Nmap、Metasploit 等，它们都提供 Python 扩展接口。黑客使用 Python 可以将这些工具打造得更强大。
4.易学易用。Python 语言易学易用，这对黑客攻击而言是个巨大的优势。一般来说，要成为一名黑客，必须掌握 3~4 种编程语言。Python 语言易学易用且拥有各种强大功能，这使它成为黑客攻击语言的不二之选。
三、Python对于黑客攻击的优点
从事黑客攻击需要具备三方面知识：
第一是背景知识，需要理解语言结构、操作系统、网络、计算机体系结构等原理；第二必须能够熟练使用各种黑客攻击工具，寻找系统漏洞并实施攻击是一项重复性工作，灵活使用各种黑客攻击工具可以将这项工作自动化，并以人们易于理解的图形方式展现复杂的系统结构；第三必须掌握某种编程语言，无论黑客攻击工具多么强大，进行高难度黑客攻击时，必须亲自编写适合自己使用的工具，此时需要掌握编程语言。
比如 Python语言，它具有如下优点：
支持功能强大的黑客攻击模块。 如前所述，Python 的优点之一是拥有丰富多样的库。Python 提供多种库，用于支持黑客攻击，比如 pydbg、scapy、sqlmap、httplib 等。目前，这些库被广泛应用于各种黑客攻击。能够访问各种 API。 Python 提供了 ctypes 库， 借 助 它， 黑 客 可 以 访 问 Windows、OS X、Linux、Solaris、FreeBSD、OpenBSD 等系统提供的 DLL 与共享库。大量黑客攻击工具提供 Python API。 最具代表性的黑客攻击工具有 sqlmap、Nmap、Metasploit 等，它们都提供 Python 扩展接口。黑客使用 Python 可以将这些工具打造得更强大。易学易用。 Python 语言易学易用，这对黑客攻击而言是个巨大的优势。一般来说，要成为一名黑客，必须掌握 3~4 种编程语言。其中最具代表性的是 C 语言与汇编语言，它们在分析系统与程序行为的过程中起着核心作用。此外，黑客还需要掌握另外一种编程语言，用于编写符合自身需要的黑客攻击工具。Python 语言易学易用且拥有各种强大功能，这使它成为黑客攻击语言的不二之选。 作为黑客攻击语言，Python 拥有众多优点，初学者选择 Python 可以先人一步。
四、Python对于黑客攻击用途
Python 提供了丰富多样的模块，这些模块几乎可以直接用于所有黑客攻击领域。对于黑客攻击模块不提供的领域，可以借由 ctypes 调用操作系统提供的原生 API。简言之，使用 Python 几乎可以攻击所有领域，比如应用程序、Web、网络、系统等，下面分别介绍各领域 Python 黑客攻击技术。
应用程序黑客攻击：可以向运行中的应用程序插入任意 DLL 或者源代码，拦截用户的键盘输入以盗取密码。此外，还可以将黑客攻击代码插入图片文件，在网络散布传播。
Web 黑客攻击：可以创建网页爬虫，收集 Web 页面包含的链接，实现 SQL 注入，向处理用户输入的部分注入错误代码。使用 Python 可以实现简单的网络浏览器功能，通过操纵 HTTP 包，上传 Web shell 攻击所需文件。
五、那么，Python难学么？
如果你是毫无基础，甚至英文和数学都不尽人意的人，那么自学这条路对你来说将会非常艰难。毕竟什么都不懂的情况下，往往会因为挫败感强而逐渐失去学习的兴趣，所以可以去找大佬带你，或看小编主页就有大佬哦~ 如果你了解一些基础知识，英文和逻辑也还可以的话，那么，不难！一点都不难。相比其他的编程语言，这简直就是“婴儿学步”的程度。 只需要你做到以下几步。 1、Python相关书籍若干本； 2、了解Python基础数据类型； 3、熟悉各种类型的操作方法； 4、理解函数和类的概念。 5、练习练习再练习，毕竟实践才能出成果嘛。
学习Python需要多长时间？
最快3-4个月，最慢一年，你就能流畅的使用这门编程语言去做你想做的项目。
六、精通Python需要多长时间？
任何知识都是基础入门比较快，达到精通的程序是需要时间的，这是一个逐渐激烈的过程。 想要对一门语言得心应手，除了了解它之外，还需要通过大量的时间、大量的问题，来积累经验。不仅是看别人的源码，同时也将资金的源码分享出去。不断的动手去编写代码，不停的去实践，不停的去修改，不停的总结经验，最终才能熟能生巧，达到精通。 如果有一天，当你遇到一个问题的时候，你能想出多种解决方法，并且迅速而准确的选出最有效率的那一个，就证明你已经对这门语言很精通了。
七、Python主要应用领域有哪些？
1、Web开发——让世界看到你的作品
Python经常被用于Web开发。比如，通过mod_wsgi模块，Apache可以运行用Python编写的Web程序。Python定义了WSGI标准应用接口来协调Http服务器与基于Python的Web程序之间的通信。一些Web框架，如Django，TurboGears，web2py，Zope等，可以让程序员轻松地开发和管理复杂的Web程序。
2、游戏编程——完爆的用户体验
Python在很早的时候就是一种游戏编程的辅助工具。在《星球大战》中扮演了重要的角色。目前，通过Python完全可以编写出非常棒的游戏程序。
3、网络爬虫——大数据时代没有数据怎么行
说到使用编程语言编写网络爬虫，就不得不提到Python的简便、高效和、强大了。在几年之前，大多数网络爬虫还是使用java进行编写的，但是随着Python生态的不断壮大，其简洁的语法搭配强大的功能，使得Python在编写网络爬虫有着得天独厚的优势。
4、数据分析——看到数据的背后的真相
数据分析也是随着大数据的概念再次兴起的一个领域。有了大量的数据，自然需要对其进行数据清理、数据提取和数据分析。
在科学计算和数据分析领域，Python一直没有缺席。在这些方面都有非常成熟的第三方模块和活跃的社区，使python成为数据处理任务的一个重要解决方案。
5、人工智能与机器学习——互联网新热潮
人工智能是现在非常火的一个方向，AI热潮让Python语言的未来充满了无限的潜力。现在释放出来的几个非常有影响力的AI框架，大多是Python的实现！
机器学习，尤其是现在火爆的深度学习，其工具框架大都提供了Python接口。Python在科学计算领域一直有着较好的声誉，其简洁清晰的语法以及丰富的计算工具，深受此领域开发者喜爱！
其实除此之外，还有很多领域都有Python的身影，比如网络安全，渗透测试，自动化运维，自动化测试等等。
感谢大佬关注，麻烦给博主点个关注吧，接下来博主会讲python从入门到精通希望大家多多关注
B站最牛的Python自动化测试框架全栈测试开发实战项目入门到精通，涨薪必备教程！！！