Как передать ссылку на очередь на функцию, управляемую пулом .map_async()?
Я хочу, чтобы длительный процесс возвращал свой прогресс в очереди (или что-то подобное), который я буду передавать в диалоговом окне индикатора выполнения. Мне также нужен результат, когда процесс завершен. Ниже приведен пример теста с RuntimeError: Queue objects should only be shared between processes through inheritance
.
import multiprocessing, time
def task(args):
count = args[0]
queue = args[1]
for i in xrange(count):
queue.put("%d mississippi" % i)
return "Done"
def main():
q = multiprocessing.Queue()
pool = multiprocessing.Pool()
result = pool.map_async(task, [(x, q) for x in range(10)])
time.sleep(1)
while not q.empty():
print q.get()
print result.get()
if __name__ == "__main__":
main()
Мне удалось заставить это работать с использованием отдельных объектов Process (где мне передается ссылка Queue), но тогда у меня нет пула для управления многими процессами, которые я хочу запустить. Кто-нибудь посоветует о лучшем шаблоне для этого?
Ответы
Ответ 1
Кажется, что работает следующий код:
import multiprocessing, time
def task(args):
count = args[0]
queue = args[1]
for i in xrange(count):
queue.put("%d mississippi" % i)
return "Done"
def main():
manager = multiprocessing.Manager()
q = manager.Queue()
pool = multiprocessing.Pool()
result = pool.map_async(task, [(x, q) for x in range(10)])
time.sleep(1)
while not q.empty():
print q.get()
print result.get()
if __name__ == "__main__":
main()
Обратите внимание, что очередь получена из manager.Queue(), а не для многопроцессорности. Queue(). Спасибо Алекс за то, что указал мне в этом направлении.
Ответ 2
Создание q
глобальных работ...:
import multiprocessing, time
q = multiprocessing.Queue()
def task(count):
for i in xrange(count):
q.put("%d mississippi" % i)
return "Done"
def main():
pool = multiprocessing.Pool()
result = pool.map_async(task, range(10))
time.sleep(1)
while not q.empty():
print q.get()
print result.get()
if __name__ == "__main__":
main()
Если вам нужно несколько очередей, например. чтобы избежать смешивания прогресса различных процессов пула, глобальный список очередей должен работать (конечно, каждый процесс должен будет знать, какой индекс в списке использовать, но это ОК, чтобы пройти в качестве аргумента;-).