Изящное закрытие асинхронных сопрограмм

В настоящее время у меня возникают проблемы с закрытием асинхронных сопрограмм во время выключения CTRL-C приложения. Следующий код - это урезанная версия того, что у меня есть прямо сейчас:

что дает мне следующий результат, если нажать CTRL-C:

Я не очень разбираюсь в асинчио, поэтому я уверен, что здесь что-то не хватает. То, что действительно дает мне головные боли, является частью результата после Shutdown complete .... Начиная с Task was destroyed but it is pending!, я должен признать, что я понятия не имею, что происходит. Я посмотрел на другие вопросы, но не мог заставить его работать. Итак, почему этот код выводит такие вещи, как Task was destroyed but it is pending! aso. и как можно закрыть закрытые сопрограммы?

Ответы

Ответ 1

Что делает `Task was destroyed but it is pending!` имею в виду?

Если в данный момент ваша программа завершила некоторые из асинхронных задач, которые еще не были выполнены, вы получите это предупреждение. Это предупреждение необходимо, поскольку некоторые выполняющиеся задачи могут некорректно освобождать некоторые ресурсы.

Есть два распространенных способа решить эту проблему:

Вы можете подождать, пока задачи закончатся
Вы можете отменить задачи и ждать, пока они завершены

Asyncio и блокировка синхронных операций

Давай посмотрим на тебя код:

def shutdown(proto, loop):
    print("Shutdown of DummyProtocol initialized ...")
    proto.close()

    time.sleep(2)
    # ...

time.sleep(2) - эта строка не даст сопрограммам время закончиться. Он просто заморозит всю вашу программу на две секунды. Ничего не случится за это время.

Это происходит потому, что ваш цикл обработки событий выполняется в том же процессе, где вы вызываете time.sleep(2). Вы никогда не должны вызывать долго выполняющиеся синхронные операции таким образом в ваших программах asyncio. Пожалуйста, прочитайте этот ответ, чтобы увидеть, как работает асинхронный код.

Как мы можем ждать завершения задач

Давайте попробуем изменить функцию shutdown. Это не асинхронная функция, вы не можете await чего-то внутри нее. Чтобы выполнить некоторый асинхронный код, нам нужно сделать это вручную: остановить текущий запущенный цикл (поскольку он уже запущен), создать некоторую асинхронную функцию для ожидания завершения задач, передать эту функцию для выполнения в цикле обработки событий.

def shutdown(proto, loop):
    print("Shutdown of DummyProtocol initialized ...")

    # Set shutdown event: 
    proto.close()

    # Stop loop:
    loop.stop()

    # Find all running tasks:
    pending = asyncio.Task.all_tasks()

    # Run loop until tasks done:
    loop.run_until_complete(asyncio.gather(*pending))

    print("Shutdown complete ...")

Вы также можете просто отменить задачи и ждать их завершения. Смотрите этот ответ для деталей.

Где разместить операции по очистке

Я не знаком с сигналами, но вам действительно нужно, чтобы ловить CTRL-C? Всякий раз, когда происходит KeyboardInterrupt, он будет переброшен по строке, где вы запускаете свой цикл обработки событий (в коде вы используете loop.run_forever()). Я могу ошибаться, но общий способ справиться с этой ситуацией - поместить все операции очистки в finally блокировку.

Например, вы можете увидеть, как aiohttp делает aiohttp:

try:
    loop.run_forever()
except KeyboardInterrupt:  # pragma: no branch
    pass
finally:
    srv.close()
    loop.run_until_complete(srv.wait_closed())
    loop.run_until_complete(app.shutdown())
    loop.run_until_complete(handler.finish_connections(shutdown_timeout))
    loop.run_until_complete(app.cleanup())
loop.close()