Как установить воздушный поток?
Кажется, я делаю что-то другое. неправильно.
https://pythonhosted.org/airflow/start.html
$ export AIRFLOW_HOME=~/airflow
$ pip install apache-airflow
Requirement already satisfied
$ airflow initdb
airflow: Command not found
питон --version
Python 2.7.10
Это странно - установка, казалось, работала нормально (с некоторыми предупреждениями - ничего серьезного), говоря: воздушный поток, колба и т.д. Успешно установлены. Но даже после перезагрузки ПК (Ubuntu 15.10) воздушный поток, похоже, не является командой.
Ответы
Ответ 1
- Вы можете создать виртуальную среду для Airflow, чтобы сохранить ее как отдельный объект: virtualenv airflow_virtualenv
- Перейдите в папку bin виртуального env: cd airflow_virtualenv/bin
- Включить активацию виртуального env: source
- Задайте исходный путь воздушного потока: экспортируйте AIRFLOW_HOME = ~/airflow [Вы также можете поместить это выражение в свой файл ~/.profile или ~/.bashrc, чтобы вам не приходилось экспортировать каждый раз]
- Установите Airflow: pip install airflow [Если он выбрасывает "шестую" ошибку при установке, тогда выполните: pip install airflow --ignore-installed six ]
- Инициализация базы данных: воздушный поток initdb
- Запуск веб-сервера: веб- сервер воздушного потока -p 8080
- Просмотр пользовательского интерфейса Airflow: http://localhost: 8080/
Ответ 2
Ваши действия выглядят правильными, если вы ничего не пропустили. Но вы можете попробовать Python virtualenv и virtualenvwrapper со следующими шагами, чтобы иметь изолированный airflow.
pip install virtualenv
pip install virtualenvwrapper
# update and source your .profile
mkvirtualenv airflow
workon airflow
export AIRFLOW_VERSION=1.7.0
pip install airflow==${AIRFLOW_VERSION}
# optionally other modules
#pip install airflow[celery]==${AIRFLOW_VERSION}
Ответ 3
Использование Python 3.6
export AIRFLOW_HOME="/Users/your_user_name/airflow"
export SLUGIFY_USES_TEXT_UNIDECODE=yes
brew install python python3
pip install -U apache-airflow[celery,s3,postgres,jdbc,mysql,gcp_api,crypto,kubernetes]
Использование Python 3.7 Во время установки возникают некоторые проблемы с
from tenacity.async import AsyncRetrying
Airflow работал с Python 3.7, поэтому на инкубационной стороне есть один PR,
просто нужно ударяться версию для зависимостей имя tenacity
: http://mail-archives.apache.org/mod_mbox/airflow-commits/201808.mbox/%[email protected]%3E HTTPS://issues.apache.org/jira/browse/AIRFLOW-2876 pip install tenacity==4.12.0
Теперь запустите Ariflow:
airflow initdb
airflow webserver
Убедитесь, что приложение работает в браузере, посетив http://localhost: 8080.
Затем запустите:
airflow scheduler
Ответ 4
Ниже приведены шаги, которые я выполнил для установки Airflow:
Установите домашний поток воздуха в ~/.bashrc
export AIRFLOW_HOME=~/airflow
Установить с pypi с помощью pip
pip install airflow
инициализация базы данных метаданных
airflow initdb
запуск веб-сервера
airflow webserver -p 8080
открыть браузер и перейти на localhost: 8080 для просмотра и использования пользовательского интерфейса
Ответ 5
В дополнение к вышеприведенным командам вам может потребоваться запустить планировщик, чтобы разрешить выполнение заданий. Команда:
планировщик воздушного потока
Ответ 6
Похоже, что путь к воздушному потоку не в вашей ПУТЕ. это происходит с другими пакетами python?
попробовать:
export PATH=$PATH:/usr/local/bin/
это путь по умолчанию для воздушного потока и должен заставить его работать
Ответ 7
Решение, с которым работал, было создание среды, установка воздушного потока, а затем ее запуск.
- > Установить virtualenv: $pip install virtualenv
- > Создать среду: $python -m venv myvenv
- > Активировать среду: $source myenv/bin/activate
- > Установить воздушный поток: (myenv)$pip install airflow
с postgres: pip install airflow[postgres]
- > Запустить сервер: (myenv)$airflow webserver -p 8080
Ответ 8
Важное дополнение ко всем сообщениям.
Apache Airflow изменяет имя своего пакета с воздушного потока на апач-воздушный поток. Таким образом, все сообщения в этом потоке будут устанавливать Apache Airflow 1.8, поскольку этот пакет все еще существует.
Чтобы установить более позднюю версию
export AIRFLOW_HOME=~/airflow
pip install apache-airflow
Также рассмотрите, какую версию Python нужно взять. Вы можете установить воздушный поток с помощью Python 2 или Python 3.
Ответ 9
Это сработало для меня:
$ SLUGIFY_USES_TEXT_UNIDECODE = да pip3 установить apache-airflow
Ответ 10
Я попытался установить pip apache-airflow и pip3 установить apache airflow, и у обоих были проблемы, потому что он установил все в ~/.local/bin/
Если вы получите сообщение об ошибке, что вы не можете запустить airflow, вы найдете его в ~/.local/bin/airflow
. Затем вы можете добавить псевдоним в ваш .bashrc: alias airflow='~/.local/bin/airflow'
затем запустить bash
и вы сможете запускать airflow.
Затем, когда вы попытаетесь запустить веб-сервер с версией python2 или python3, он выдаст ошибку, потому что не может найти gunicorn, и вы можете это исправить, добавив ~/.local/bin в PATH:
export PATH=$PATH:~/.local/bin