博客

1.如何用python生成10w行数据并写入csv文件中

import csv
import random
from multiprocessing.dummy import Pool as pl
#将数据行写入csv文件
def towrite(item):
    with open('data-daily-1.csv','a',newline='',encoding='utf-8') as csvfile:
        writer = csv.writer(csvfile)
        try:
            writer.writerow(item)
        except:
            print('write Error!')
#造数据
def writedata(data):
    # 这里是20000,20000*5（下边传给map的5个元素）=10w
    #random.randint(4,10000) 随机生成4-10000的整数
    for i in range(20000):
        data =['2022-05-20', random.randint(4,10000), 'ABC', '22', '11', '23', 'ext1']
        towrite(data)
# 主方法，使用线程池
if __name__ == '__main__':
    pool=pl(4)
    #我其实不太明白这里的意思，应该是开启5个线程的意思，可以修改成其他列表['url1','url2']等
    data = [1,2,3,4,5]
    pool.map(writedata,data)
    pool.close()
    pool.join()

2.如何合并多个csv文件

将所有的需要合并的csv文件放到一个文件夹中，然后打开cmd命令，进入到该文件夹中

比如我的文件都放在D:\codeZM\Py-01\data_rong\all-data 文件夹中,然后依次执行以下命令。

就会在all-data文件夹下生成一个all.csv的总文件

d:
cd codeZM/Py-01/data_rong/all-data
copy *.CSV all.csv