python2.7异步_Python2.7实现多进程下开发多线程示例

  • Post author:
  • Post category:python


简单的基于Python2.7版本的多进程下开发多线程的示例,供大家参考,具体内容如下

可以使得程序执行效率至少提升10倍

#!/usr/bin/env python

# -*- coding: utf-8 -*-

“””

@Time : 2018/10/24

@Author : LiuXueWen

@Site :

@File : transfer.py

@Software: PyCharm

@Description:

“””

import os

import traceback

import threading

from multiprocessing import Pool

from multiprocessing.dummy import Pool as ThreadPool

# 兼容python2.7上多线程的bug,不加上下面的反代理程序不能正常执行

def proxy(cls_instance, i):

return cls_instance.multiprocess_thread(i)

def proxy2(cls_instance, i):

return cls_instance.file_operation(i)

class file2transfer():

# 多进程执行程序

def multiprocessingTransferFiles(self):

try:

# 创建进程池

p = Pool()

//参数末尾必须加上逗号

p.apply_async(proxy, args=(self, self.root_path,))

p.close()

p.join()

except Exception as e:

print(e)

# 每个进程下的多线程执行,线程数等于当前机器的核数

def multiprocess_thread(self, root_path):

try:

# 创建线程锁

lock = threading.RLock()

lock.acquire()

# 获取每个文件

for pfile in os.listdir(root_path):

# 获取文件的完整路径

full_file_path = os.path.join(root_path, pfile)

# 多线程读写文件

p = ThreadPool()

# 执行线程

p.apply_async(proxy2, args=(self, full_file_path,))

p.close()

p.join()

except Exception as e:

print(e)

finally:

# 释放线程锁

lock.release()

# 对每个文件夹下的每个文件进行操作

def file_operation(self, full_file_path):

try:

// TODO 真正需要单独执行的操作

pass

except Exception as e:

print(e)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

您可能感兴趣的文章:Python多进程并发(multiprocessing)用法实例详解

浅析Python中的多进程与多线程的使用

Python多进程通信Queue、Pipe、Value、Array实例

探究Python多进程编程下线程之间变量的共享问题

Python中使用多进程来实现并行处理的方法小结

Python多进程同步Lock、Semaphore、Event实例

Python控制多进程与多线程并发数总结

Python多线程、异步+多进程爬虫实现代码

简单谈谈python中的Queue与多进程

Python多进程分块读取超大文件的方法