Pool

如果要启动大量的子进程，可以用进程池的方式批量创建子进程：

from multiprocessing import Pool

import os, time, random



def longtimetask(name):

print('Run task %s (%s)…' % (name, os.getpid()))

start = time.time()

time.sleep(random.random() * 3)

end = time.time()

print('Task %s runs %0.2f seconds.' % (name, (end - start)))



if name=='__main':

print('Parent process %s.' % os.getpid())

p = Pool(4)

for i in range(5):

p.apply_async(long_time_task, args=(i,))

print('Waiting for all subprocesses done…')

p.close()

p.join()

print('All subprocesses done.')

执行结果如下：

Parent process 669.

Waiting for all subprocesses done…

Run task 0 (671)…

Run task 1 (672)…

Run task 2 (673)…

Run task 3 (674)…

Task 2 runs 0.14 seconds.

Run task 4 (673)…

Task 1 runs 0.27 seconds.

Task 3 runs 0.86 seconds.

Task 0 runs 1.41 seconds.

Task 4 runs 1.91 seconds.

All subprocesses done.

代码解读：

对 Pool 对象调用 join() 方法会等待所有子进程执行完毕，调用 join() 之前必须先调用 close() ，调用 close() 之后就不能继续添加新的 Process 了。

请注意输出的结果，task 0 ， 1 ， 2 ， 3 是立刻执行的，而task 4 要等待前面某个task完成后才执行，这是因为 Pool 的默认大小在我的电脑上是4，因此，最多同时执行4个进程。这是 Pool 有意设计的限制，并不是操作系统的限制。如果改成：

p = Pool(5)

就可以同时跑5个进程。

由于 Pool 的默认大小是CPU的核数，如果你不幸拥有8核CPU，你要提交至少9个子进程才能看到上面的等待效果。