Python爬虫过程中出现重定向302解决方法

  • Post author:
  • Post category:python


在访问页面的时候,有的网站为了防爬,会出现302的重定向问题,这时候我们正常去通过requests库get只能访问到200的界面,而302的界面无法进行访问

如果代码这样写302被跳过,我们直接得到的是200的界面的内容。 打印的状态码可以说明

import requests
url1="https://blog.csdn.net/qq_34020487/article/details/102229511"
ico_url="https://blog.csdn.net//favicon.ico"
header={"User-Agent":"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36",
       }

r = requests.get(url1,headers=header)
cookie = requests.utils.dict_from_cookiejar(r.cookies)
print(cookie)
print(r.status_code)

r = requests.get(ico_url,headers=header,cookies=cookie)
print(r.status_code)
cookie.update(requests.utils.dict_from_cookiejar(r.cookies))
html=t.text
with open("../h.html",'w') as f:
    f.wrirte(html)

此时只需要在get内部加上对应的参数 allow_redirects即可。

(Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置,从地址A跳转到地址B了。

重定向状态码:

–301 redirect: 301 代表永久性转移(Permanently Moved)

–302 redirect: 302 代表暂时性转移(Temporarily Moved )

打印状态码是200,这是因为requets库自动处理了重定向请求了。自动处理重定向地址后,我们就获取不到重定向后的url了,就无法走下一步,这里我们可以设置一个参数禁止重定向:allow_redirects=False

(allow_redirects=True是启动重定向),然后就可以看到status_code是302了。这时候重定向就可以解决。



版权声明:本文为qq_34020487原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。