博客

零基础学Python 爬虫 –Tony老师 – 普门教育

python — 兼容 — 3.8.5

pycharm — 付费/免费(写项目有区别) – (破解版2019)

代码提示

爬虫 概念

科技 – 智能化 – 互联网 – 数据时代 – 智能家居

爬虫 – 批量的采集数据 – 网络 – cpoy

爬虫怎么抓取网页数据？

浏览器快捷键进入开发者工具：F12

爬虫流程

截胡 – F12 – 快捷键 – 抓包 – 自带

案例 讲解 – 小试牛刀

• 1、网站目标 – 发起网络请求(联网) – 得到网站数据 –
• 2、分析 – 网站 – 提取需要的数据
• 3、保存 – excel、txt、数据库等

安装模块 – 第三方模块(可自行安装)

pip3 install requests  #  安装方式有5种
pip install requests

店铺-3w人在浏览店铺，却一笔都没有成交-爬虫程序在采集数据

1、反爬

• 抓取数据 – 防止抓取数据 – 技术

2、解析方式

• 直接处理
• Json解析
• 正则表达式
• BeautifulSoup
• PyQuery
• XPath

伪装成浏览器

身份标识 – python

User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4595.0 Safari/537.36

import requests  # 网站请求模块，网站的规则
import requests
import re # 解析模块，提取网页中的数据

#  1、网站目标 - 发起网络请求(联网) - 得到网站数据 -
# 字符串
# url = 'https://www.jd.com/'
# a = 1
# print(url) # 打印机
# http状态码：404 503 200
# text = requests.get(url)  # <Response [200]>
# text = requests.get(url).text  # 网页内容，html
# print(text)


# url = 'https://www.xiachufang.com/category/227/'
url = 'https://www.xiachufang.com/recipe/104711978/'
# get(url,params=None,**kwargs)
# text = requests.get(url).text  # 返回404，反爬虫机制

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4595.0 Safari/537.36"}
text = requests.get(url,headers=headers).text
#print(text)

# 2、分析 - 网站 - 提取需要的数据
'''
通配符
(.*?) - 小括号中的所有数据，都是需要提取的
.*? - 文字太长， 想省略(不是消失)

<title>(.*?)</title>
<link href="(.*?)" rel="stylesheet" type="text/css">
<link href="(.*?)".*?type="text/css">
<script type=".*?">.*?"image":"(.*?)".*?</script>
<img src="(.*?)" alt=".*?" width="300">
'''
# 多个数据 - find(查找) all(所有的)
imgs = re.findall('<img src="(.*?)" alt=".*?" width="300">',text)
# print(imgs)

# 3、保存 - excel、txt、数据库等 
# 循环 - [] 
for img_url in imgs:
    # print(img_url)
    img = requests.get(img_url,headers=headers)
    # print(img)
    # 图片如何保存
    img_file = open('1.png','wb')
    img_file.write(img.content)  # 写入
    break

课后作业：

import requests
import re

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4595.0 Safari/537.36"}
url = 'https://www.xiachufang.com/recipe/104711978/'
text = requests.get(url,headers=headers).text  # 伪装成浏览器

imgs = re.findall('<img src="(.*?)" alt=".*?" width="300">',text)

for i,img_url in enumerate(imgs):
    img = requests.get(img_url,headers=headers).content
    img_file = open(str(i+1) + ".png", "wb")
    img_file.write(img)