博客

场景

在使用python做爬虫的时候，有的接口做了权限验证，需要从cookie中去获得数据，但是如果这个cookie又是http only的（浏览器不会提供任何方法获得这个cookie值，只会在发送http请求的时候带上这个cookie），所以我们获取不到这个参数。

解决方案

既然获取不到，我们就转换思维；

我的思路是：借助浏览器来实现数据获取，因为通过浏览器发送http请求是会带上这个cookie

1、使用UI自动化框架 Selenium 做登录等操作

2、登录后使用Selenium execute_script方法向界面注入js,比如jquery

3、使用Selenium 提供的execute_script借助jquery提供的 get、post方法向后台发起请求，获得返回值

总结：相当于挟“持浏”览器，注入js，调用http方法获得数据；当然这个方案的效率肯定没有直接使用接口调用高，还有一点就是可能会涉及到用户登录等操作，但是能解决http only cookie的场景；