博客

比如一个job需要处理N个tasks，每个tasks之间完全独立。通常我们会考虑使用多进程或者多线程并行处理来加快处理速度。而在coding过程中，可以有三种方式来处理，由浅入深。

1. 主进程实现把每个进程需要处理的任务分配好，比如有8个并行处理的任务，每个进程处理的tasks数量为N/8。 该方式比较简单，但是如果每个task处理的时间差异较大的话，会有load unbalance的问题；另一个不利支持是如果收集或分配tasks的时间比较长的话，所有worker进程都会等待分配结束后才能工作。

2. 使用一个线程安全的队列，主线程收集tasks，每收集到一个就放一个进入队列，所有的worker线程都从队列中取task。该方案还需要注意的地方是，如果任务量很大，但处理速度比较慢的话，需要控制往队列中写入数据的速度，避免把内存撑爆。

3. 使用进程或线程间的通信。比如一个线程准备好处理数据了，它会发一个READY信号给主线程，主线程收到该信号后便分配一个任务给该线程。使用socket可以避免加锁，代码中不存在竞争关系。