scrap安装

scrapy官方网站

开发环境

• python3
• scrapy 安装

pip install scrapy==1.4.0

pip install scrapy==1.5.1

pip install Pywin32

pip install Twisted

python scrapy开始

scrapy框架在安装完成之后，会自动在python的scripts目录下生成一个可执行文件，如果说之前我们为了使用pip、easy_install或者django配置过环境变量，那么这里我们就不需要配置环境变量了，如果还没有，那么请讲scripts目录添加到你的PATH环境变量当中。

开始使用scrapy

• 基本语法

scrapy startproject 项目名

• 命令行获取一个网页，（类似curl）

scrapy.exe shell 'https://image.so.com/zjl?ch=beauty&sn=30'
import json
res = json.loads(response.body.decode('utf-8'))
res
res['list'][1]['qhimg_url']