Как обеспечить, чтобы подпроцессы останавливались при остановке Supervisord?
Я использую Supervisord для работы двух работников сельдерея. Команда для каждого работника:
command=/usr/local/myapp/src/manage.py celery worker --concurrency=1 --loglevel=INFO
Когда я запускаю супервизор, они работают отлично, но когда я запускаю sudo service supervisord stop, он сообщает, что мои рабочие останавливаются:
celery_1: stopped
celery_2: stopped
Однако, когда я запускаю ps aux | grep celery, я вижу, что они все еще запущены:
www-data 27667 0.0 1.5 318420 64360 ? S 10:45 0:00 manage.py celery worker --concurrency=1 --loglevel=INFO
www-data 27668 0.0 1.5 318420 318416 ? S 10:45 0:00 manage.py celery worker --concurrency=1 --loglevel=INFO
Я считаю, что остановка службы супервизора останавливает демон супервизора, а не процесс супервизора, который управляет вашими работниками celery.
supervisorctl stop all должен позволить вам остановить рабочих, а также разрешить вам запускать/перезапускать их
Причина, по которой я оказался здесь, заключается в том, что, когда я использовал супервизора для начала и прекращения процессов сельдерея, рабочие сельдерея не останавливались, что приводило к накоплению рабочих.
Я пробовал различные настройки в супервизоре, такие как stopignal и killasgroup. Никто из них не остановил рабочих.
В этот момент кажется, что процесс сельдерея не посылает сигналы рабочим, когда он остановлен.
В итоге я добавил:
ps auxww | grep 'celery worker' | awk '{print $2}' | xargs kill -9
для моих скриптов. Это от документация по сельдериуму
В конце этой команды я попытался убить -TERM вместо kill -9, надеясь, что это будет убивать процессы более изящно. Но это всегда оставило один процесс.
Взгляните в свой superisord.log. Может быть, супервизор отправляет SIGKILL в сельдерей? Если это так, попробуйте увеличить таймаут (например, stopwaitsecs = 600).
Не уверен, но это швы, как в этом случае, супервизор управляет ш-скриптами. Не потоки python. Можете ли вы отобразить ps auxf | grep celery, в то время как супервизор работает? Может быть редактирование команды, например: command=python /path/to/manage.py ..., будет полезно.
У меня были такие проблемы с каналами django, настройками stopasgroup=true в конфигурации suppervisor (как предлагалось здесь). Исправлена проблема. Однако я не понимаю, почему.