Супервизор не может перезапустить половину времени
Я пытаюсь развернуть приложение Django с помощью Uwsgi и супервизора на машине под управлением Debian 8.1.
Когда я перезапускаю через sudo systemctl restart supervisor
, он не может перезапустить половину времени.
$ [email protected]:/# systemctl start supervisor
Job for supervisor.service failed. See 'systemctl status supervisor.service' and 'journalctl -xn' for details.
$ [email protected]:/# systemctl status supervisor.service
● supervisor.service - LSB: Start/stop supervisor
Loaded: loaded (/etc/init.d/supervisor)
Active: failed (Result: exit-code) since Wed 2015-09-23 11:12:01 UTC; 16s ago
Process: 21505 ExecStop=/etc/init.d/supervisor stop (code=exited, status=0/SUCCESS)
Process: 21511 ExecStart=/etc/init.d/supervisor start (code=exited, status=1/FAILURE)
Sep 23 11:12:01 host supervisor[21511]: Starting supervisor:
Sep 23 11:12:01 host systemd[1]: supervisor.service: control process exited, code=exited status=1
Sep 23 11:12:01 host systemd[1]: Failed to start LSB: Start/stop supervisor.
Sep 23 11:12:01 host systemd[1]: Unit supervisor.service entered failed state.
Однако в журналах supervisor или uwsgi ничего нет.
Supervisor 3.0 работает с этой конфигурацией для uwsgi:
[program:uwsgi]
stopsignal=QUIT
command = uwsgi --ini uwsgi.ini
directory = /dir/
environment=ENVIRONMENT=STAGING
logfile-maxbytes = 300MB
stopsignal = QUIT добавлен, потому что UWSGI игнорирует сигнал по умолчанию (SIGTERM) на остановке и жестоко убивается, когда SIGKILL покидает сиротских рабочих.
Есть ли способ узнать, что происходит?
EDIT:
Пробовал, как посоветовал mnencia: /etc/init.d/supervisor stop && while /etc/init.d/supervisor status ; do sleep 1; done && /etc/init.d/supervisor start
но он все равно не работает в течение половины времени.
[email protected]:~# /etc/init.d/supervisor stop && while /etc/init.d/supervisor status ; do sleep 1; done && /etc/init.d/supervisor start
[ ok ] Stopping supervisor (via systemctl): supervisor.service.
● supervisor.service - LSB: Start/stop supervisor
Loaded: loaded (/etc/init.d/supervisor)
Active: inactive (dead) since Tue 2015-11-24 13:04:32 UTC; 89ms ago
Process: 23490 ExecStop=/etc/init.d/supervisor stop (code=exited, status=0/SUCCESS)
Process: 23349 ExecStart=/etc/init.d/supervisor start (code=exited, status=0/SUCCESS)
Nov 24 13:04:30 xxx supervisor[23349]: Starting supervisor: supervisord.
Nov 24 13:04:30 xxx systemd[1]: Started LSB: Start/stop supervisor.
Nov 24 13:04:32 xxx systemd[1]: Stopping LSB: Start/stop supervisor...
Nov 24 13:04:32 xxx supervisor[23490]: Stopping supervisor: supervisord.
Nov 24 13:04:32 xxx systemd[1]: Stopped LSB: Start/stop supervisor.
[....] Starting supervisor (via systemctl): supervisor.serviceJob for supervisor.service failed. See 'systemctl status supervisor.service' and 'journalctl -xn' for details.
failed!
[email protected]:~# /etc/init.d/supervisor stop && while /etc/init.d/supervisor status ; do sleep 1; done && /etc/init.d/supervisor start
[ ok ] Stopping supervisor (via systemctl): supervisor.service.
● supervisor.service - LSB: Start/stop supervisor
Loaded: loaded (/etc/init.d/supervisor)
Active: failed (Result: exit-code) since Tue 2015-11-24 13:04:32 UTC; 1s ago
Process: 23490 ExecStop=/etc/init.d/supervisor stop (code=exited, status=0/SUCCESS)
Process: 23526 ExecStart=/etc/init.d/supervisor start (code=exited, status=1/FAILURE)
Nov 24 13:04:32 xxx systemd[1]: supervisor.service: control process exited, code=exited status=1
Nov 24 13:04:32 xxx systemd[1]: Failed to start LSB: Start/stop supervisor.
Nov 24 13:04:32 xxx systemd[1]: Unit supervisor.service entered failed state.
Nov 24 13:04:32 xxx supervisor[23526]: Starting supervisor:
Nov 24 13:04:33 xxx systemd[1]: Stopped LSB: Start/stop supervisor.
[ ok ] Starting supervisor (via systemctl): supervisor.service.
Ответы
Ответ 1
Это не обязательно ошибка супервизора. Я вижу из вашего вывода systemctl status
, что supervisor
запускается через уровень совместимости sysv-init, поэтому сбой может быть в /etc/init.d/supervisor
script. Это объясняет отсутствие ошибок в журналах супервизора.
Чтобы отлаживать init script, самым простым способом является добавление set -x
в качестве первой инструкции без комментария в этом файле и просмотр в journalctl
вывода трассировки выполнения script.
EDIT:
Я воспроизвел и отладил его в тестовой системе с Debian Sid.
Проблема заключается в том, что цель остановки супервизора init- script не проверяет, действительно ли демон завершен, но только посылает сигнал, если процесс существует. Если процесс daemon занимает некоторое время, чтобы завершить работу, последующее действие запуска завершится неудачно из-за процесса умирающего демона, который считается уже запущенным.
Я открыл ошибку в Debian Bug Tracker: http://bugs.debian.org/805920
Временное решение:
Вы можете решить эту проблему с помощью:
/etc/init.d/supervisor force-stop && \
/etc/init.d/supervisor stop && \
/etc/init.d/supervisor start
-
force-stop
обеспечит завершение надзора (за пределами systemd).
-
stop
убедитесь, что systemd знает, что он завершен.
-
start
запускает его снова
Требуется stop
после force-stop
, иначе systemd будет игнорировать любой последующий запрос start
. stop
и start
могут быть объединены с помощью restart
, но здесь я поставил оба из них, чтобы показать, как это работает.
Ответ 2
У меня была эта проблема в ubuntu 14.04, попробовал последнюю версию initd script из debian и @mnencia, но они не сработали для меня. решение принудительной остановки не убило программные процессы, которые они просто продолжали работать после того, как был убит супервизор.
Мое решение состояло в том, чтобы исправить супервизор и запустить и перезапустить части кода initd script, который я не хотел догадываться о хорошем DODTIME, я хотел, чтобы он был готов, как только старый мастер-мастер запускался, поэтому Я добавил логику повтора. Обратите внимание, что это немного подробный, но вы можете просто удалить эхо-вызовы, если вам не нравится это поведение, и вы можете изменить максимальные значения (здесь здесь 20).
start)
echo -n "Starting $DESC: "
i=1
until [ $i -ge 21 ]; do
start-stop-daemon --start --quiet --pidfile $PIDFILE --startas $DAEMON -- $DAEMON_OPTS && break
echo -n -e "\nAlready running, old process still finishing? retrying ($i/20)..."
let "i += 1"
sleep 1
done
sleep 1
if running ; then
echo "$NAME."
else
echo " ERROR."
fi
;;
restart)
echo -n "Restarting $DESC: "
start-stop-daemon --stop --quiet --oknodo --pidfile $PIDFILE
i=1
until [ $i -ge 21 ]; do
start-stop-daemon --start --quiet --pidfile $PIDFILE --startas $DAEMON -- $DAEMON_OPTS && break
echo -n -e "\nAlready running, old process still finishing? retrying ($i/20)..."
let "i += 1"
sleep 1
done
echo "$NAME."
;;
Я также изменил hashbang (первая строка), поэтому bash используется insted из sh, я хотел использовать let
#! /bin/bash