Python爬虫之Json数据提取,jsonpath,demjson库的使用

  • Post author:
  • Post category:python




一、JsonPath

JsonPath是一种信息提取抽取类库,是从JSON文档中抽取指定信息的工具,提供多种语言实现版本,包括:Javascript,Python,PHP和java。

JsonPath对于Json来说,相当于Xpath对于XML



安装方法

pip install jsonpath



语法对比

JsonPath与Xpath语法对比

json结构清晰,可读性高,复杂度低,非常容易匹配。

在这里插入图片描述



使用方法

jsonpath.jsonpath(obj, exp)

obj:被提取的文本
exp:jsonpath表达式


示例代码:

    def paser_json(self, json_txt):
        ret = jsonpath.jsonpath(json_txt, '$..name')
        print(ret)



二、demJson

对于非常规范的json文本,我们可以用json库或是jsonpath库来提取我们想要的内容,但对于不规范的json文本,使用json库就会报错,这是demjson就会帮我们完成任务。

demjson有两个常用的方法:



2.1decode方法

将json对象转化为Python对象

示例代码:

import demjson

# 创建一个字符串
strl = "[{'name': 'Tom', 'age': 12, 'gender': 'man'}]"
# 打印类型,str类型
print(type(strl))
# decode方法转化为Python对象
ret = demjson.decode(strl)
# 打印类型,list类型
print(type(ret))
# 打印结果
print(ret)
输出结果:
<class 'str'>
<class 'list'>
[{'name': 'Tom', 'age': 12, 'gender': 'man'}]



2.2encode方法

将Python对象转化为json对象

示例代码:

import demjson

# 创建一个字符串
strl = "[{'name': 'Tom', 'age': 12, 'gender': 'man'}]"
# decode方法转化为Python对象
ret = demjson.decode(strl)
# encode方法转化为json对象
ret1 = demjson.encode(ret)
print(type(ret1))
print(ret1)
输出结果:
<class 'str'>
[{"age":12,"gender":"man","name":"Tom"}]



版权声明:本文为qq_46292926原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。