Я не могу видеть журналы, прикрепленные к задачам из пользовательского интерфейса Airflow:
Параметры, связанные с журналом в файле airflow.cfg:
remote_base_log_folder =base_log_folder = /home/my_projects/ksaprice_project/airflow/logsworker_log_server_port = 8793child_process_log_directory =
/home/my_projects/ksaprice_project/airflow/logs/schedulerХотя я устанавливаю remote_base_log_folter, он пытается получить журнал из http://:8793/log/tutorial/print_date/2017-08-02T00:00:00 - я не понимаю этого поведения. В соответствии с настройками рабочие должны хранить журналы в /home/my_projects/ksaprice_project/airflow/logs, и они должны быть извлечены из одного и того же места, а не из удаленного.
Обновление
Содержимое таблицы task_instance:
Я также столкнулся с той же проблемой.
Настройка переменных ниже в airflow.cfg работала для меня. Используйте {hostname} как машину FQDN {hostname} вместо localhost.
endpoint_url = http://{hostname}:8080
base_url = http://{hostname}:8080
Удачи!
Как вы можете видеть на изображении-1, есть метка времени, убедитесь, что в ваших журналах у вас есть папка/файл с этой меткой времени как имя..
Вы смотрите на пользовательский интерфейс, поэтому сначала убедитесь, что у вас есть файлы журналов, созданные в каталоге, в моем случае папка моего журнала выглядит как
(AIRFLOW-ENV) [[email protected] dags]$ ll /home/cloudera/workspace/python/airflow_home/logs/my_test_dag/my_sensor_task
total 8
-rw-rw-rw- 1 cloudera cloudera 3215 Nov 14 08:45 2017-11-12T12:00:00
-rw-rw-rw- 1 cloudera cloudera 2694 Nov 14 08:45 2017-11-14T08:36:06.920727
(AIRFLOW-ENV) [[email protected] dags]$
Итак, мой URL-адрес журнала
http://localhost:8080/admin/airflow/log?task_id=my_sensor_task&dag_id=my_test_dag&execution_date=2017-11-14T08:36:06.920727
Когда вы перейдете к своей группе DAG и выберите GRAPH-VIEW, вы увидите раскрывающийся список рядом с "RUN", выберите соответствующий прогон, а затем в виде графика ниже выберите подходящую задачу/оператор и выберите вид-журнал
Я тоже столкнулся с этим, и мне пришлось отказаться от задач.
dags_are_paused_at_creation = False
Я также установил новые dags для default без изменений в моем airflow.cfg
dags_are_paused_at_creation = False
Я также сталкиваюсь с той же проблемой, я пытался изменить имя хоста с помощью FQDN, но все еще та же проблема. Кто-нибудь решил эту проблему.