Динамический планировщик заданий DAG (направленный ациклический график)

Ответ 1

1) Вы можете дать dagobah попробовать, как описано на его странице github: Dagobah - это простой планировщик заданий на основе зависимостей, написанный в Python. Дагоба позволяет планировать периодические задания с использованием синтаксиса Cron. Каждое задание затем запускает ряд задач (подпроцессов) в порядке, определенном графиком зависимости, который вы можете легко рисовать с помощью щелчка и перетаскивания в веб-интерфейсе. Это самый легкий проект планировщика по сравнению с тремя последующими.

2) В терминах задач ETL luigi, который открыт с помощью Spotify, больше сосредоточится на заданиях хауопа, как описано: Luigi is модуль Python, который поможет вам построить сложные конвейеры пакетных заданий. Он обрабатывает разрешение зависимостей, управление рабочим процессом, визуализацию и т.д. Он также имеет встроенную поддержку Hadoop.

Оба этих модуля в основном написаны на Python, а веб-интерфейсы включены для удобного управления.

Насколько мне известно, "luigi" не предоставляет модуль планировщика для заданий на работу, что, по моему мнению, необходимо для задач ETL. Но с помощью "luigi" проще написать код для сокращения карты в Python, и тысячи задач каждый день при запуске Spotify зависят от него.

3) Как и luigi, Pinterest open получил свой менеджер рабочего процесса с именем Pinball. Архитектура Pinballs следует за мастером-мастером (или с мастер-клиентом, чтобы избежать путаницы имен со специальным типом клиента, который мы вводим ниже) парадигмой, где центральным центральным исполнителем действует как истина о текущем состоянии системы для безстоящих клиентов. И он плавно выполняет задачи hadoop/hive/spark.

4) Airflow, еще один проект расписания работы с дагом, открытый Airbnb, совсем похож на Луиджи и Пинбол. Бэкэнд построен на колбе, сельдерее и так далее. В соответствии с примерным кодом задания, Airflow является одновременно мощным и простым в использовании на моей стороне.

И последнее, но не менее важное: Luigi, Airflow и Pinball могут быть более широко использованы. И есть большое сравнение среди этих трех: http://bytepawn.com/luigi-airflow-pinball.html

Ответ 2

Есть тонна этих; каждый, кажется, пишет свои собственные. Существует хороший список в https://github.com/common-workflow-language/common-workflow-language/wiki/Existing-Workflow-systems. Что включает системы, которые происходят как в промышленности, так и в академических кругах.

Ответ 3

Вы посмотрели Ruffus?

У меня нет опыта работы с ним, но он, похоже, делает некоторые элементы в вашем списке. Он также выглядит довольно взломанным, поэтому вы можете сами реализовать свои другие требования.