Многопроцессорность Python: возможно ли иметь пул внутри пула?

У меня есть модуль A, который выполняет базовое отображение/сокращение, беря данные и отправляя их на модули B, C, D и т.д. для анализа, а затем вместе объединяет их результаты.

Но, похоже, что модули B, C, D и т.д. сами не могут создать многопроцессорный пул, иначе я получаю

AssertionError: daemonic processes are not allowed to have children

Можно ли распараллелить эти задания каким-либо другим способом?

Для наглядности здесь пример (n по общему признанию плохой) ребенка. (Обычно я пытаюсь поймать, но вы получите суть.)

A.py:

  import B
  from multiprocessing import Pool

  def main():
    p = Pool()
    results = p.map(B.foo,range(10))
    p.close()
    p.join()
    return results


B.py:

  from multiprocessing import Pool

  def foo(x):
    p = Pool()
    results = p.map(str,x)
    p.close()
    p.join()
    return results

Ответы

Ответ 1

Возможно ли иметь пул внутри пула?

Да, возможно, хотя это может быть не очень хорошая идея, если вы не хотите поднять армию зомби. Из Пул процессов Python non-daemonic?:

import multiprocessing.pool
from contextlib import closing
from functools import partial

class NoDaemonProcess(multiprocessing.Process):
    # make 'daemon' attribute always return False
    def _get_daemon(self):
        return False
    def _set_daemon(self, value):
        pass
    daemon = property(_get_daemon, _set_daemon)

# We sub-class multiprocessing.pool.Pool instead of multiprocessing.Pool
# because the latter is only a wrapper function, not a proper class.
class Pool(multiprocessing.pool.Pool):
    Process = NoDaemonProcess

def foo(x, depth=0):
    if depth == 0:
        return x
    else:
        with closing(Pool()) as p:
            return p.map(partial(foo, depth=depth-1), range(x + 1))

if __name__ == "__main__":
    from pprint import pprint
    pprint(foo(10, depth=2))

Выход

[[0],
 [0, 1],
 [0, 1, 2],
 [0, 1, 2, 3],
 [0, 1, 2, 3, 4],
 [0, 1, 2, 3, 4, 5],
 [0, 1, 2, 3, 4, 5, 6],
 [0, 1, 2, 3, 4, 5, 6, 7],
 [0, 1, 2, 3, 4, 5, 6, 7, 8],
 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9],
 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10]]

concurrent.futures поддерживает его по умолчанию:

# $ pip install futures # on Python 2
from concurrent.futures import ProcessPoolExecutor as Pool
from functools import partial

def foo(x, depth=0):
    if depth == 0:
        return x
    else:
        with Pool() as p:
            return list(p.map(partial(foo, depth=depth-1), range(x + 1)))

if __name__ == "__main__":
    from pprint import pprint
    pprint(foo(10, depth=2))

Он производит тот же вывод.

Можно ли распараллелить эти задания каким-либо другим способом?

Да. Например, посмотрите, как celery позволяет создать сложный рабочий процесс.