Фляга с фоновой резьбой

Я создаю приложение для фляшек, для одного запроса мне нужно запустить некоторое долгое задание, которое не требуется ждать в пользовательском интерфейсе. Я создам поток и отправлю сообщение в пользовательский интерфейс. Поток будет вычислять и обновлять базу данных. Но, UI увидит сообщение при подаче. Ниже приведена моя реализация, но она запускает поток и затем отправляет вывод в пользовательский интерфейс, который я не предпочитаю. Как запустить этот поток в фоновом режиме?

@app.route('/someJob')
def index():
    t1 = threading.Thread(target=long_running_job)
    t1.start()
    return 'Scheduled a job'

def long_running_job
    #some long running processing here

Как я могу сделать поток t1 для запуска фона и сразу отправить сообщение в ответ?

Ответы

Ответ 1

Лучшее, что можно сделать для таких вещей, это использовать брокера сообщений. В мире python есть отличное программное обеспечение, предназначенное для этого:

Сельдерей (http://www.celeryproject.org/) и
RQ (http://python-rq.org/).

Оба являются отличным выбором.

Почти никогда не рекомендуется создавать поток так, как вы это делаете, поскольку это может вызвать проблемы с обработкой входящих запросов, между прочим.

Если вы посмотрите на руководства по сельдерее или RQ, они проведут вас через это правильно!

Ответ 2

Попробуйте этот пример, протестированный на Python 3.4.3/Flask 0.11.1

from flask import Flask
from time import sleep
from concurrent.futures import ThreadPoolExecutor

# DOCS https://docs.python.org/3/library/concurrent.futures.html#concurrent.futures.ThreadPoolExecutor
executor = ThreadPoolExecutor(2)

app = Flask(__name__)


@app.route('/jobs')
def run_jobs():
    executor.submit(some_long_task1)
    executor.submit(some_long_task2, 'hello', 123)
    return 'Two jobs was launched in background!'


def some_long_task1():
    print("Task #1 started!")
    sleep(10)
    print("Task #1 is done!")


def some_long_task2(arg1, arg2):
    print("Task #2 started with args: %s %s!" % (arg1, arg2))
    sleep(5)
    print("Task #2 is done!")


if __name__ == '__main__':
    app.run()

Ответ 3

Если вы хотите выполнить длительную операцию в контексте приложения фляги, то это немного проще (в отличие от использования ThreadPoolExecutor, заботящегося об исключениях):

Определение командной строки для приложения (cli.py) - потому, что все веб - приложения должны иметь администратора командной cli в любом случае.
subprocess.Popen (без ожидания) командной строки в веб-запросе.

Например:

# cli.py

import click
import yourpackage.app
import yourpackage.domain

app = yourpackage.app.create_app()

@click.group()
def cli():
    pass

@click.command()
@click.argument('foo_id')
def do_something(foo_id):
    with app.app_context():
        yourpackage.domain.do_something(foo_id)

if __name__ == '__main__':
    cli.add_command(do_something)
    cli()

Затем,

# admin.py (flask view / controller)

bp = Blueprint('admin', __name__, url_prefix='/admin')

@bp.route('/do-something/<int:foo_id>', methods=["POST"])
@roles_required('admin')
def do_something(foo_id):
    yourpackage.domain.process_wrapper_do_something(foo_id)
    flash("Something has started.", "info")
    return redirect(url_for("..."))

А также:

# domain.py

import subprocess

def process_wrapper_do_something(foo_id):
    command = ["python3", "-m", "yourpackage.cli", "do_something", str(foo_id)]
    subprocess.Popen(command)

def do_something(foo_id):
    print("I am doing something.")
    print("This takes some time.")

Ответ 4

Проверьте Flask-Executor, который использует concurrent.futures в фоновом режиме и делает вашу жизнь очень легкой.

from flask_executor import Executor

executor = Executor(app)

@app.route('/someJob')
def index():
    executor.submit(long_running_job)
    return 'Scheduled a job'

def long_running_job
    #some long running processing here

Это не только запускает задания в фоновом режиме, но и дает им доступ к контексту приложения. Он также предоставляет способ хранения заданий, чтобы пользователи могли возвращаться, чтобы получить статусы.