python 爬虫 Form Data爬取穷游网的数据

  • Post author:
  • Post category:python




数据



穷游网郑州市的旅游景点

为例

景点列表



请求方式

分页的时候,是向同一个url发请求,不同的是Form Data里的page参数

数据获取方式



参考代码

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import json
import requests

headers = {
    "Content-Type": "application/x-www-form-urlencoded"
}
url = 'https://place.qyer.com/poi.php?action=list_json'
data = {
    'page': '1',
    'type': 'city',
    'pid': '11771',
    'sort': '32',
    'subsort': 'all',
    'isnominate': '-1',
    'haslastm': 'false',
    'rank': '6'
}
if __name__ == '__main__':
    r = requests.post(url, data=data, headers=headers)
    r.encoding = 'utf-8'
    # 将str转为dict对象
    data = json.loads(r.text)
    data_list = data['data']['list']
    print(data_list)



版权声明:本文为qq_40948862原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。