Запуск Spark на YARN в режиме с прямыми кластерами: где идет выход консоли?

Я следил за этой страницей и запускал приложение примера SparkPi в YARN в режиме с прямыми кластерами.

Я не вижу вывод программы в конце (что является результатом вычисления в этом случае). Когда я запускаю его в режиме пряжи-клиента (--master yarn-client), я вижу такой вывод:

Где стандартный выход идет в режиме кластеров пряжи?

Ответы

Ответ 1

После долгих размышлений я нашел это в документе spark-0.9.0.

Изучите вывод (замените $ YARN_APP_ID следующим: "Идентификатор приложения", выводимый предыдущей командой) (Примечание: YARN_APP_LOGS_DIR обычно /tmp/logs или $ HADOOP_HOME/logs/userlogs в зависимости от версии Hadoop.)

$ cat $ YARN_APP_LOGS_DIR/$ YARN_APP_ID/контейнер * _000001/stdout

Pi примерно 3,13794

Я хочу, чтобы они поместили эту инструкцию в документацию 1.1.0.