requests库

1. 编码方式

• 
  response.
  
encoding

  : 从HTTP header中猜测的相应内容编码方式【根据
  
header

  中的
  
charset

  提取编码方式, 不存在charset，
  
默认

  为
  
ISO-8859-1

  ,所以
  
准确度低

  于apparent_encoding】
  

• 
  response.
  
apparent_encoding

  : 从内容中分析出的响应内容编码方式（备选编码方式）(apparent_encoding
  
准确度高

  于encoding;apparent_encoding根据网页内容分析出的编码方式)
  

2. 异常

3. 异常处理通用代码框架

try:
    r=requests.get(url,timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text

except :
    return '产生异常'

4. Requests库的7个主要方法

4.1 HTML协议

4.1.1 HTML简介

HTML协议：

1. 
   HTTP,
   
Hypertext Transfer Protocol

   超文本传输协议
   
2. 
   HTTP基于“请求与响应”模式的、无状态的应用层协议( 模式：用户请求，服务器响应；
   
无状态

   ：第1次请求与第2次无相关关联；
   
应用层协议

   ：该协议工作在HTTP协议之上)
   

4.1.2 URL简介


HTTP

协议采用

URL

作为定位网络资源的标识

URL是通过HTTP协议存取资源的

Internet

路径，一个

URL

对应一个数据资源

URL格式

http://host [:port][path]


4.1.3 HTTP协议对资源的操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hRTM8F5I-1678776258704)(requests.assets/image-20230314112042474.png)]

4.2 Requests7个主要方法

4.2.1 方法参数

4.2.1.1 常见参数

requests.request( method, url , **kwargs）

p = {'key1':'value1','key2':'value2'}
re = requests.request('GET','http://www.baidu.com',params=p)
print(re.url)
# http://www.baidu.com?key1=value1&key2=value2

p = {'key1':'value1','key2':'value2'}
re = requests.request('POST','http://www.baidu.com',data=p)

body = '主题内容'
re = requests.request('POST','http://www.baidu.com',data=body)

p = {'key1':'value1','key2':'value2'}
re = requests.request('POST','http://www.baidu.com',json=p)

re = requests.request('POST','http://www.baidu.com',timeout=30)

4.2.1.2 高级参数

hds = {'user-agent':'Chrome'}
re = requests.request('POST','http://www.baidu.com',headers=hds)

fs = {'file':open('read.txt','rb')}
re = requests.request('POST','http://www.baidu.com',files=fs)

# 增加用户名密码的设置；如此访问百度所用的就是代理服务器的IP地址;有效隐藏用户爬取源的IP地址信息
prs = {'http':'http://user:pass@10.10.10.1:1234','https':'https://10.10.10.1:4321'}
re = requests.request('GET','http://www.baidu.com',proxies=prs)