计算多处理中执行的任务总数执行期间的池

Question

我很想说明我们目前的谈话。我正在耕作，想知道目前的进展。因此，如果我将100作业发送给10处理器，那么如何显示当前返回的作业数量是多少。我可以获取ID，但是如何从我的地图函数中计算完成的返回作业的数量。

我正在按以下方式调用我的函数：

op_list = pool.map(PPMDR_star, list(varg))

在我的函数中，我可以打印当前名称

current = multiprocessing.current_process()
print 'Running: ', current.name, current._identity

Answer 1

如果使用pool.map_async，则可以将此信息从MapResult返回的实例中拉出。例如：

import multiprocessing
import time

def worker(i):
    time.sleep(i)
    return i


if __name__ == "__main__":
    pool = multiprocessing.Pool()
    result = pool.map_async(worker, range(15))
    while not result.ready():
        print("num left: {}".format(result._number_left))
        time.sleep(1)
    real_result = result.get()
    pool.close()
    pool.join()

输出：

num left: 15
num left: 14
num left: 13
num left: 12
num left: 11
num left: 10
num left: 9
num left: 9
num left: 8
num left: 8
num left: 7
num left: 7
num left: 6
num left: 6
num left: 6
num left: 5
num left: 5
num left: 5
num left: 4
num left: 4
num left: 4
num left: 3
num left: 3
num left: 3
num left: 2
num left: 2
num left: 2
num left: 2
num left: 1
num left: 1
num left: 1
num left: 1

multiprocessing在内部将传递给它的可迭代项map分成多个块，并将每个块传递给子进程。因此，该_number_left属性实际上会跟踪剩余
块
的数量，而不是可迭代对象中的各个元素。如果在使用大型可迭代项时看到奇数，请记住这一点。它采用分块，以提高IPC性能，但如果看到完成结果的准确理货是你比增加的性能更重要的是，你可以使用chunksize=1关键字argumment来map_async作出_num_left更准确。（chunksize通常只对非常大的可迭代对象产生明显的性能差异。请自己尝试一下，以查看它对用例是否真的很重要）。

正如您在评论中提到的那样，由于pool.map被阻塞，除非您要启动一个后台线程来进行轮询，而主线程在map调用中被阻塞，否则您将无法真正获得此消息，但是我不确定这样做有什么好处以上方法。

要记住的另一件事是，您使用的是内部属性MapResult，因此这可能会在将来的Python版本中中断。