博客

前言

最近在练习爬取网页数据时发现，有的网站get请求时里面的参数有中文的话在url中显示的%CB%D5%D6%DD开头的字符，在python中调用request模块时，发现字符转换的不对，导致访问步到正确的内容。同时也发现如果在request的response里面的text本中含有的中问的时候会乱码。本文基于网上搜到办法及自身实践给出爬取网页时乱码问题的解决方案。

1、如何查看request模块访问网页时的url？

需要获取的网页链接为：

https://www.ip138.com/post/search.asp?area=%CB%D5%D6%DD&action=area2zip

其中通过在网页端操作发现%CB%D5%D6%DD是‘苏州’这两个字转换过来的，但通过reauest访问，发现结果不对，初步分析肯定是最终访问url有问题，那么如何看到request的url呢？

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like'
    }
url= "https://www.ip138.com/post/search.asp
param = {
        'area': 苏州,
        'action':'area2zip', 
    }
response = requests.get(url=url, params=param,headers = headers)

后来发现可以采用如下方式获取：

real_url = response.request.url
print(real_url)

结果如下：

https://www.ip138.com/post/search.asp?area=%E8%8B%8F%E5%B7%9E&action=area2zip

发现‘苏州’转换成了%E8%8B%8F%E5%B7%而不是要求的%CB%D5%D6%DD。看到这个就好办了，接下来只用找到将‘苏州’转换为%CB%D5%D6%DD的方法即可。

2、中文字符串与url编码的转换

通过百度搜索发现可以用urllib模块来进行字符串与url编码的转换

字符串转url编码

import urllib

str = urllib.parse.quote('苏州')
print(str)

结果为：

%E8%8B%8F%E5%B7%9E

发现结果还是不对，继续找百度，中文字符串编码格式的不对转换的出url编码也会不同

中文gbk编码转换成url编码：一个汉字对应两组%，为%xx%xx
中文utf-8编码转换为url编码：一个汉字对应三组%，为%xx%xx%xx

看到这里豁然开朗，倒推发现上面的‘苏州’实际是utf-8编码的，这是因为python文件默认编码声明为utf-8.s所以转换出来的是6组%。

那么接下来就好处理了，只需要将‘苏州’编码改为gbk编码，在进行转换就可以了。将上述代码进行修改

import urllib
string = '苏州'
string =string.encode('gbk')
str = urllib.parse.quote(string )
print(str)

运行，得到如下结果：

%CB%D5%D6%DD

结果终于正确了。接下来再反向有url编码转中文

3、url编码转中文字符串—转换失败

import urllib
string = '%CB%D5%D6%DD'
str = urllib.parse.unquote(string)
str = str.encode('utf-8')
print(str)

4、response.text乱码

当用request模块读取到的网页中有中文乱码时

#方式1 
response.encoding = 'utf-8'
#方式二解决通用乱码问题
td_text = response.text.encode('iso-8859-1').decode('gbk')

通过这两种方式可以解决乱码问题