博客

页面解析与数据提取

结构化数据：json（先有结构再有数据）

转化成字典直接解析

非结构化数据：html（先有数据，再有结构）

正则表达式

XPath路径表达式

css选择器

XPath路径表达式介绍：

xml文件中的结点选择，适用于html

nodename：选取元素的所有子结点

/nodename：在根结点选取

//nodename：在整个文档中选取

. ：选取当前结点

.. ：选取当前结点的父结点

@：选取属性

lxml库

html/xml解析器，利用XPath语法快速定位特定元素以及结点信息

安装：

pip install lxml

导入模块：

from lxml import etree

传入要解析的文本text，lxml工具会将文本解析成hxml，其中有标签缺失会自动进行补全

html = etree.HTML(response.text)

再通XPath语法进行结点匹配

import requests
from lxml import etree


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 '
                  'Safari/537.36 '
}

response = requests.get('https://www.baidu.com', headers=headers)
html = etree.HTML(response.text)
# print(etree.tostring(html))
result = [html.xpath('/html'), html.xpath('//div[@class="s-p-top"]')]

print(result)

lxml特殊方法应用

可以用于筛选和显示元素

@表示属性，（）表示方法

其子标签中的内容不会显示

可以把方法也看成是一个结点

可以作为条件进行筛选

text：文本获取

result1 = html.xpath('//div/text()')
result2 = html.xpath('//div[text()="音乐"]')
print(result1)
print(result2)

执行结果

contains：包含

class属性中包含“s-top-” 的div元素；内容中包含“百度”的div；

这里用text方法获取了标签里的内容

result3 = html.xpath('//div[contains(@class,"s-top-")]/text()')
result4 = html.xpath('//div[contains(text(),"百度")]/text()')

百度贴吧图片下载

1. 获得网页内容

2. 解析html，提取img标签里的src属性（图片的url）

3. 遍历获取

执行结果

代码

import requests
from lxml import etree

index_url = 'https://tieba.baidu.com/p/8180680881'
response = requests.get(index_url).text
selector = etree.HTML(response)
images_urls = selector.xpath('//img[@class="BDE_Image"]/@src')

offset = 0
for images_url in images_urls:
    image_content = requests.get(images_url).content
    with open('{}.jpg'.format(offset), 'wb') as f:
        f.write(image_content)
    offset = offset + 1