python5数据存储

1 txt文件存储

正常调用文件python文件操作

https://www.cnblogs.com/x2x3/p/9979919.html

2 json文件存储

在JavaScript语言中，一切都是对象。因此，任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，但是对象和数组是比较特殊且常用的两种类型，下面简要介绍一下它们。

对象：它在JavaScript中是使用花括号
{}
包裹起来的内容，数据结构为
{key1：value1, key2：value2, ...}
的键值对结构。在面向对象的语言中，
key
为对象的属性，
value
为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。
数组：数组在JavaScript中是方括号
[]
包裹起来的内容，数据结构为
["java", "javascript", "vb", ...]
的索引结构。在JavaScript中，数组是一种比较特殊的数据类型，它也可以像对象那样使用键值对，但还是索引用得多。同样，值的类型可以是任意类型。

所以，一个JSON对象可以写为如下形式：

[{

“name”: “Bob”,

“gender”: “male”,

“birthday”: “1992-10-18”

}, {

“name”: “Selina”,

“gender”: “female”,

“birthday”: “1995-10-18”

}]

          
           [

           {

           “name”

           :

           “Bob”

           ,

           “gender”

           :

           “male”

           ,

           “birthday”

           :

           “1992-10-18”

           }

           ,

           {

           “name”

           :

           “Selina”

           ,

           “gender”

           :

           “female”

           ,

           “birthday”

           :

           “1995-10-18”

           }

           ]

Python为我们提供了简单易用的库来实现JSON文件的读写操作，我们可以调用库的
loads()
方法将JSON文本字符串转为JSON对象，可以通过
dumps()
方法将JSON对象转为文本字符串

值得注意的是，JSON的数据需要用双引号来包围，不能使用单引号。例如，若使用如下形式表示，则会出现错误

json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 (char 8)

另外，如果JSON中包含中文字符，会怎么样呢？例如，我们将之前的JSON的部分值改为中文，再用之前的方法写入到文本：

import json

data = [{

‘name’: ‘王伟’,

‘gender’: ‘男’,

‘birthday’: ‘1992-10-18’

}]

with open(‘data.json’, ‘w’) as file:

file.write(json.dumps(data, indent=2))

json.dumps(‘中国你好’)

‘中国你好’ 是ascii 字符码，而不是真正的中文。

这是因为json.dumps 序列化时对中文默认使用的ascii编码

想输出真正的中文需要指定ensure_ascii=False

json.dumps中可以放置json字符串，但是也必须指定ensure_ascii=False

———————

作者：蜡笔小心丶

来源：CSDN

原文：https://blog.csdn.net/u011615787/article/details/73089523/

版权声明：本文为博主原创文章，转载请附上博文链接！

# -*- coding:utf-8 -*-
import json

str = '''
[{
    "name": "木头",
    "gender": "马尾",
    "birthday": "1992-10-18"
}, {
    "name": "Selina",
    "gender": "female",
    "birthday": "1995-10-18"
}]
'''
print(type(str))
data=json.loads(str)
print(type(data))
# 另外，如果想保存JSON的格式，可以再加一个参数indent，代表缩进字符个数
str=json.dumps(data,indent=2,ensure_ascii=False)
print(type(str))
with open('file.txt','w+',encoding='utf-8') as f:
    f.write(str)
    f.flush()
    f.seek(0)
    data=f.read()
    print(json.loads(data))

View Code

请千万注意JSON字符串的表示需要用双引号，否则
loads()
方法会解析失败。

可以看到，中文字符都变成了Unicode字符，这并不是我们想要的结果。

被写入的文件中文显示为Unicode字符

为了输出中文，还需要指定参数
ensure_ascii
为
False
，另外还要规定文件输出的编码

可以发现，这样就可以输出JSON为中文了

3 csv文件存储

CSV，全称为Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比Excel文件更加简介，XLS文本是电子表格，它包含了文本、数值、公式和格式等内容，而CSV中不包含这些内容，就是特定字符分隔的纯文本，结构简单清晰。所以，有时候用CSV来保存数据是比较方便的

用
fieldnames
表示，然后将其传给
DictWriter
来初始化一个字典写入对象，接着可以调用
writeheader()
方法先写入头信息，然后再调用
writerow()
方法传入相应字典即可

#csv_write_test
import csv
with open('data.csv','w') as csvfile:
    writer=csv.writer(csvfile)
    writer.writerow(['id', 'name', 'age'])   #写入单行
    writer.writerow(['001','walker','18'])
    writer.writerows([['001','walker','18'],['001','walker','18']])  #写入多行,参数为列表中包含列表

with open('data.csv','w') as csvfile:
    writer=csv.writer(csvfile,delimiter=' ')  #delimiter 指定分隔符
    writer.writerow(['id', 'name', 'age'])
    writer.writerow(['001','walker','18'])

#json 格式的csv存储
with open('json.csv','w') as csvfile:
    #用fieldnames表示，然后将其传给DictWriter来初始化一个字典写入对象，
    # 接着可以调用writeheader()方法先写入头信息，然后再调用writerow()方法传入相应字典即可。
    # 最终写入的结果是完全相同的
    filenames=['id', 'name', 'age']
    writer=csv.DictWriter(csvfile,fieldnames=filenames,delimiter=',')
    #json依然可以传入分隔符；也可以通过writerows写入多行
    writer.writeheader()
    writer.writerow({'id': '10004', 'name': 'Durant', 'age': 22})

#读取csv文件
with open('json.csv', 'r', encoding='utf-8') as csvfile:
    #这里我们构造的是Reader对象，通过遍历输出了每行的内容，每一行都是一个列表形式。
    # 注意，如果CSV文件中包含中文的话，还需要指定文件编码
    reader = csv.reader(csvfile)
    for row in reader:
        print(row)
#另一种读取方法
import pandas  as pd
df = pd.read_csv('data.csv')
print(df)

View Code

mysql存储

# -*- coding:utf-8 -*-
import pymysql
db = pymysql.connect(host='localhost',user='root', password='123456', port=3306)
cursor = db.cursor()
#在很多情况下，我们要达到的效果是插入方法无需改动，做成一个通用方法，只需要传入一个动态变化的字典就好了。比如，构造这样一个字典
#然后SQL语句会根据字典动态构造，元组也动态构造，这样才能实现通用的插入方法。所以，这里我们需要改写一下插入方法：
data = {
    'id': '20120001',
    'name': 'Bob',
    'age': 20
}
table = 'students'
keys = ', '.join(data.keys())
values = ', '.join(['%s'] * len(data))
sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table, keys=keys, values=values)
try:
   if cursor.execute(sql, tuple(data.values())):
       print('Successful')
       db.commit()
except:
    print('Failed')
    db.rollback()
db.close()
#这里我们传入的数据是字典，并将其定义为data变量。表名也定义成变量table。接下来，就需要构造一个动态的SQL语句了。

# 首先，需要构造插入的字段id、name和age。这里只需要将data的键名拿过来，然后用逗号分隔即可。+所以
# ', '.join(data.keys())的结果就是id, name, age，然后需要构造多个%s当作占位符，有几个字段构造几个即可。比如，
# 这里有三个字段，就需要构造%s, %s, %s。这里首先定义了长度为1的数组['%s']，然后用乘法将其扩充为['%s', '%s', '%s']，
# 再调用join()方法，最终变
# INSERT INTO students(id, name, age) VALUES (%s, %s, %s)

View Code

三非关系型数据库mongodb

NoSQL，全称Not Only SQL，意为不仅仅是SQL，泛指非关系型数据库。NoSQL是基于键值对的，而且不需要经过SQL层的解析，数据之间没有耦合性，性能非常高

对于爬虫的数据存储来说，一条数据可能存在某些字段提取失败而缺失的情况，而且数据可能随时调整。另外，数据之间还存在嵌套关系。如果使用关系型数据库存储，一是需要提前建表，二是如果存在数据嵌套关系的话，需要进行序列化操作才可以存储，这非常不方便。如果用了非关系型数据库，就可以避免一些麻烦，更简单高效。

MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象

连接mongodb

连接MongoDB时，我们需要使用PyMongo库里面的
MongoClient
。一般来说，传入MongoDB的IP及端口即可，其中第一个参数为地址
host
，第二个参数为端口
port
（如果不给它传递参数，默认是27017）：

import pymongo

client = pymongo.MongoClient(host=’localhost’, port=27017)

这样就可以创建MongoDB的连接对象了。

另外，
MongoClient
的第一个参数
host
还可以直接传入MongoDB的连接字符串，它以
mongodb
开头，例如：

client = MongoClient(‘mongodb://localhost:27017/’)

指定数据库

MongoDB中可以建立多个数据库，接下来我们需要指定操作哪个数据库。这里我们以test数据库为例来说明，下一步需要在程序中指定要使用的数据库

db

=

client

.

test

4. 指定集合

MongoDB的每个数据库又包含许多集合（collection），它们类似于关系型数据库中的表。

下一步需要指定要操作的集合，这里指定一个集合名称为students。与指定数据库类似，指定集合也有两种方式

collection = db.students

collection = db[‘students’]

5. 插入数据

在MongoDB中，每条数据其实都有一个
_id
属性来唯一标识。如果没有显式指明该属性，MongoDB会自动产生一个
ObjectId
类型的
_id
属性。
insert()
方法会在执行后返回
_id
值

实际上，在PyMongo 3.x版本中，官方已经不推荐使用
insert()
方法了。当然，继续使用也没有什么问题。官方推荐使用
insert_one()
和
insert_many()
方法来分别插入单条记录和多条记录

student

=

{

‘id’

:

‘20170101’

,

‘name’

:

‘Jordan’

,

‘age’

:

20

,

‘gender’

:

‘male’

}

result

=

collection

.

insert_one

(

student

)

print

(

result

)

print

(

result

.

inserted_id

)

与
insert()
方法不同，这次返回的是
InsertOneResult
对象，我们可以调用其
inserted_id
属性获取
_id
。

对于
insert_many()
方法，我们可以将数据以列表形式传递

与
insert()
方法不同，这次返回的是
InsertOneResult
对象，我们可以调用其
inserted_id
属性获取
_id
。

对于
insert_many()
方法，我们可以将数据以列表形式传递，示例如下

student1 = {

‘id’: ‘20170101’,

‘name’: ‘Jordan’,

‘age’: 20,

‘gender’: ‘male’

}

student2 = {

‘id’: ‘20170202’,

‘name’: ‘Mike’,

‘age’: 21,

‘gender’: ‘male’

}

result = collection.insert_many([student1, student2])

print(result)

print(result.inserted_ids)

该方法返回的类型是
InsertManyResult
，调用
inserted_ids
属性可以获取插入数据的
_id
列表

6. 查询

find_one()
或
find()
方法进行查询，其中
find_one()
查询得到的是单个结果，
find()
则返回一个生成器对象

result = collection.find_one({‘name’: ‘Mike’})

print(type(result))

print(result)

对于多条数据的查询，我们可以使用
find()
方法

results

=

collection

.

find

(

{

‘age’

:

20

}

)

print

(

results

)

for

result

in

results

:

print

(

result

)

表5-3 比较符号

符号	含义	示例
`$lt`	小于	`{'age': {'$lt': 20}}`
`$gt`	大于	`{'age': {'$gt': 20}}`
`$lte`	小于等于	`{'age': {'$lte': 20}}`
`$gte`	大于等于	`{'age': {'$gte': 20}}`
`$ne`	不等于	`{'age': {'$ne': 20}}`
`$in`	在范围内	`{'age': {'$in': [20, 23]}}`
`$nin`	不在范围内	`{'age': {'$nin': [20, 23]}}`

更高级查询

表5-4 功能符号

符号	含义	示例	示例含义
`$regex`	匹配正则表达式	`{'name': {'$regex': '^M.*'}}`	`name` 以M开头
`$exists`	属性是否存在	`{'name': {'$exists': True}}`	`name` 属性存在
`$type`	类型判断	`{'age': {'$type': 'int'}}`	`age` 的类型为 `int`
`$mod`	数字模操作	`{'age': {'$mod': [5, 0]}}`	年龄模5余0
`$text`	文本查询	`{'$text': {'$search': 'Mike'}}`	`text` 类型的属性中包含 `Mike` 字符串
`$where`	高级条件查询	`{'$where': 'obj.fans_count == obj.follows_count'}`	自身

7. 计数

要统计查询结果有多少条数据，可以调用
count()
方法

count = collection.find().count()

print(count)

或者统计符合某个条件的数据：

count = collection.find({‘age’: 20}).count()

print(count)

8. 排序

排序时，直接调用
sort()
方法，并在其中传入排序的字段及升降序标志即可。示例如下：

1 2	results = collection . find ( ) . sort ( ‘name’ , pymongo . ASCENDING ) print ( [ result [ ‘name’ ] for result in results ] )

运行结果如下：

1	[ ‘Harden’ , ‘Jordan’ , ‘Kevin’ , ‘Mark’ , ‘Mike’ ]

这里我们调用
pymongo.ASCENDING
指定升序。如果要降序排列，可以传入
pymongo.DESCENDING

11. 删除

删除操作比较简单，直接调用
remove()
方法指定删除的条件即可，此时符合条件的所有数据均会被删

result = collection.remove({‘name’: ‘Kevin’})

print(result)

另外，这里依然存在两个新的推荐方法——
delete_one()
和
delete_many()

result = collection.delete_one({‘name’: ‘Kevin’})

print(result)

print(result.deleted_count)

result = collection.delete_many({‘age’: {‘$lt’: 25}})

print(result.deleted_count)

delete_one()
即删除第一条符合条件的数据，
delete_many()
即删除所有符合条件的数据。它们的返回结果都是
DeleteResult
类型，可以调用
deleted_count
属性获取删除的数据条数

三

Redis存储

Redis是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单

在开始之前，请确保已经安装好了Redis及RedisPy库。如果要做数据导入/导出操作的话，还需要安装RedisDump。如果没有安装

https://cuiqingcai.com/5587.html

转载于:https://www.cnblogs.com/x2x3/p/10923757.html

4. 指定集合

5. 插入数据

6. 查询

7. 计数

8. 排序

11. 删除

你可能也喜欢