Beautiful soup解析和提取数据

  • Post author:
  • Post category:其他



目录


一、安装Beautiful soup


二、解析并获取网页中想要的内容


1、标签树的遍历


1.1  soup.


1.2  标签树的下行遍历 .contents 和 .children 及.descendants


1.3  标签树的上行遍历 .parent .parents


1.4  标签树的平行遍历 : .next_sibling 和 .previous_sibling及.next_siblings 和 .previous_siblings


1.5 提取信息:.string、.strings、.stripped_strings


2、标签树的搜索


2.1 find() 和find_all()


2.2 CSS选择器


3. 提取信息


3.1获取节点名称


3.2 获取节点中的属性值


3.3 获取内容

一、安装Beautiful soup

这篇文章也是受了崔庆才大神的启发,然后自己按照自己的思路梳理出来的,所以重复的内容这里就不赘述了。可以参考崔庆才的网站。这里放上链接:

https://cuiqingcai.com/5548.html

二、解析并获取网页中想要的内容

Beautiful Soup是一个集解析和提取数据为一体的强大的库(它支持python标准库中的HTML解析器,还支持一些第三方解析器(lxml,html5li))经BeautifulSoup解析后,会将复杂HTML文档转换成一个复杂的树形结构,每个标签都对应一个节点,每个节点都是python对象,并且BeautifulSoup提供了常用的遍历,查找,修改解析树的方法,可以从HTML或XML文件中提取数据。

先来看python支持的解析器的对比:

解析器 使用方法 优势 劣势
Python标准库 html.parser
BeautifulSoup(markup, "html.parser")
  • Python的内置标准库
  • 执行速度适中
  • 文档容错能力强
  • Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差

lxml HTML 解析器

需要安装 lxml库


BeautifulSoup(markup, "lxml")
  • 速度快
  • 文档容错能力强
  • 需要安装C语言库

lxml XML 解析器

需要安装 lxml库


BeautifulSoup(markup, ["lxml-xml"])


BeautifulSoup(markup, "xml")

  • 速度快
  • 唯一支持XML的解析器
  • 需要安装C语言库

html5lib

需要安装html5lib库


BeautifulSoup(markup, "html5lib")
  • 最好的容错性
  • 以浏览器的方式解析文档
  • 生成HTML5格式的文档
  • 速度慢
  • 不依赖外部扩展

推荐使用lxml作为解析器,因为效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定.

那经BeautifulSoup解析后的所有对象可以归纳为4种:

  • Tag(Tagl对象当中有name属性和attrs属性)

  • NavigableString

  • BeautifulSoup

  • Comment

即:

有HTML基础的人都知道,HTML中最重要的就是标签,不同标签有不同的作用,标签当中有属性和元素内容,因此我们就从标签入手,一步一步分析beautiful soup是怎么提取HTML数据的。

1、标签树的遍历

1.1  soup.<tag>

想要获取标签及其内容,最简单的方法就是告诉它你想获取的tag的name.任何存在于HTML语法中的标签都可以用soup.<tag>访问获得,当HTML文档中存在多个相同<tag>对应内容时,soup.<tag>返回第一个。

比如:

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
    <div cless='out_wrapper'>
        <div>
            <h1>The Dormouse's story</h1>

            <p class="story">Once upon a time there were three little sisters; and their names were
                <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
                <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
                <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
                and they lived at the bottom of a well.
            </p>
            <p class="story">...</p>

        </div>

    </div>

</body>

"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.title)
print(soup.head)
print(soup.p)

运行结果如下:

<title>The Dormouse's story</title>
<div class="out_wrapper">
<div>
<h1>The Dormouse's story</h1>
<p class="story">Once upon a time there were three little sisters; and their names were
                <a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,
                <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
                <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
                and they lived at the bottom of a well.
            </p>
<p class="story">...</p>
</div>
</div>
<p class="story">Once upon a time there were three little sisters; and their names were
                <a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,
                <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
                <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
                and they lived at the bottom of a well.
            </p>

来看结果:首先打印输出

title

节点

加里面的文字内容,

接下来,我们又尝试选择了 div节点,结果返回的也是节点

加其内部的所有内容,并且注意虽然虽然HTML网页中有两个div但是结果只输出了最外层也就是第一个找到的div

。最后,选择了

p

节点。此时需要注意输出的结果只有第一个

p

节点及其内容,后面的几个

p

节点并没有选到。也就是说,当有多个节点的时候,这种选择方式只会输出第一个匹配到的节点,其他的内部或者后边的节点都不会输出。

1.2  标签树的下行遍历 .contents 和 .children 及.descendants

Beautiful Soup除了可以根据标签的名字返回标签及其内容之外,还提供了很多属性供我们遍历标签树,比如 .contents和.chaldren,.descendants都是tag对象的属性,其中.contents属性可以

将tag的直接子节点以列表的方式输出;

.children属性和.descendants返回的是生成器。.children返回的是tag标签直接后代的一个生成器,.descendants返回的是tag标签全部后代的生成器

例如:

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
    <div class='out_wrapper'>
        <div>
            <h1>The Dormouse's story</h1>

            <p class="story">Once upon a time there were three little sisters; and their names were
                <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
                <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
                <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
                and they lived at the bottom of a well.
            </p>
            <p class="story">...</p>

        </div>
       

    </div>

</body>

"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')#实例化
print(soup.p.contents)
print('------'*10)
print(soup.p.children)
for i,child in enumerate(soup.p.children):
    print(i,child)

['Once upon a time there were three little sisters; and their names were\n 
               ', <a class="sister" href=



版权声明:本文为m0_46093829原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。