python 网络爬虫抓取百度搜索结果链接

  • Post author:
  • Post category:python


版本:python3

要搜索的关键字我们可以作为一个参数传入,这里随便举一个作为例子

用urllib请求网页

from urllib import request 
#相当于在百度搜索关键字 battle
battle ='https://www.baidu.com/s?wd=battle'
req = request.Request(battle)

直接请求无法打开网页,增加header,伪装成浏览器访问。

打开浏览器,打开百度搜索,搜索关键字battle;

打开浏览器检查,Network,刷新一遍页面

在header栏目下翻找到User-Agent项:



版权声明:本文为QingtaiSensei原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。