Python: Can’t start new thread解决方案(设置线程上限)

  • Post author:
  • Post category:python


背景:

在编写一个爬虫的时候,检查用多线程来检测结果有效性的时候,线程启动过多报错:

thread.error: can’t start new thread

方案:使用Thread中的event,并进行上锁设置来解决。

原因:这个是由于每台计算机能进行的并行是有上限的,经过测试本机的上限为1023个左右(win7 64位,i3 2核4线程),可以进行设置提高上限,但我觉得此处没有必要,也不方便扩展,所以想自行定义一个并行的上限数进行处理。

参考:在多次百度无果之后,选择了google,查看了国外的一些评论和解决方案,在google学术中搜索“python thread number limit”,下载了此篇pdf,在13-14页中找到了解决方案,果然是老外做的东西,老外更懂啊。

http://python-ray.googlecode.com/hg-history/425d613ba8a2c7bd367b573018df45e5ec474428/doc/PyThreads.pdf

解决方案:

具体解决方案如下,对应的代码加上了注释。

#coding=utf-8

import threading

class scanner(threading.Thread):

tlist=[] #用来存储队列的线程

maxthreads=100 # int(sys.argv[2])最大的并发数量,此处我设置为100,测试下系统最大支持1000多个

evnt=threading.Event()#用事件来让超过最大线程设置的并发程序等待

lck=threading.Lock() #线程锁

def __init__(self):

threading.Thread.__init__(self)

def run(self):

try:

pass

except Exception,e:

print e.message

#以下用来将完成的线程移除线程队列

scanner.lck.acquire()

scanner.tlist.remove(self)

#如果移除此完成的队列线程数刚好达到99,则说明有线程在等待执行,那么我们释放event,让等待事件执行

if len(scanner.tlist)==scanner.maxthreads-1:

scanner.evnt.set()

scanner.evnt.clear()

scanner.lck.release()

def newthread(proxy,counter):

scanner.lck.acquire()#上锁

sc=scanner()

scanner.tlist.append(sc)

scanner.lck.release()#解锁

sc.start()

#将新线程方法定义为静态变量,供调用

newthread=staticmethod(newthread)

def runscan():

for i in 1 .. 100:

scanner.lck.acquire()

#如果目前线程队列超过了设定的上线则等待。

if len(scanner.tlist)>=scanner.maxthreads:

scanner.lck.release()

scanner.evnt.wait()#scanner.evnt.set()遇到set事件则等待结束

else:

scanner.lck.release()

scanner.newthread(proxy,counter)

for t in scanner.tlist:

t.join()#join的操作使得后面的程序等待线程的执行完成才继续

if __name__==”__main__”:

runscan()

??proxy,counter

转自:

http://www.cnblogs.com/freeideas/archive/2013/05/05/3060812.html