Поиск исключения в многопроцессорности python
У меня есть немного кода на Python, который выглядит так:
procs = cpu_count()-1
if serial or procs == 1:
results = map(do_experiment, experiments)
else:
pool = Pool(processes=procs)
results = pool.map(do_experiment, experiments)
Он работает нормально, когда я устанавливаю флаг serial
, но при использовании Pool
он дает следующую ошибку. Когда я пытаюсь распечатать что-либо из do_experiment
, ничего не появляется, поэтому я не могу попробовать/уловить его и распечатать трассировку стека.
Exception in thread Thread-2:
Traceback (most recent call last):
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 530, in __bootstrap_inner
self.run()
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 483, in run
self.__target(*self.__args, **self.__kwargs)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/multiprocessing/pool.py", line 285, in _handle_tasks
put(task)
TypeError: 'NoneType' object is not callable
Каков хороший способ продолжить отладку?
Ответы
Ответ 1
Я вернулся в свою историю git, пока не нашел коммит, где все еще работало.
Я добавил класс к моему коду, который расширяет dict
, чтобы к ним можно было обращаться с помощью .
(поэтому dict.foo
вместо dict["foo"]
). Многопроцессорность не проявляла любезности к этому, используя обычный dict решил проблему.