python爬虫 常用网站_给新手推荐几个实用又适合上手的Python爬虫项目

  • Post author:
  • Post category:python


Python的前景光明不需要过多赘述了,那么作为新人如何快速上手这门语言呢?废话不多说,今天给大家分享三个极实用的Python爬虫案例。

1、爬取网站美图

爬取图片是最常见的爬虫入门项目,不复杂却能很好地熟悉Python语法、掌握爬虫思路。

当然有两个点要注意:

不要侵犯版权,

要注意营养。

思路流程

第一步:获取网址的response,分页内容,解析后提取图集的地址。

第二步:获取网址的response,图集分页,解析后提取图片的下载地址。

第三步:下载图片(也就是获取二进制内容,然后在本地复刻一份)。

部分代码

运行结果

2、爬取微博数据

爬虫的最大功能之一就是整合数据,能弄到更全面的信息,真正做好大数据的分析,在这个数据说话的年代,影响是决定性的。(注意别侵权)

思路流程

利用chrome浏览器,获取自己的cookie。

获取你要爬取的用户的微博User_id

将获得的两项内容填入到weibo.py中,替换代码中的YOUR_USER_ID和#YOUR_COOKIE,运行代码。

部分代码

用wordcloud等软件生成词云,它会根据信息的频率、权重按比列显示关键字的字体大小。

3、爬取王者荣耀全套皮肤

怎么获取全套皮肤?用钱买,或者用爬虫爬取下来~虽然后者不能穿。这个案例稍微复杂一点,但是一个非常值得学习的项目。

思路流程

首先进入所有英雄列表