Выпуск Запуск работы Spark на кластере пряжи

Я хочу запустить свою искру Job в режиме кластера Hadoop YARN, и я использую следующую команду:

spark-submit --master yarn-cluster 
             --driver-memory 1g 
             --executor-memory 1g
             --executor-cores 1 
             --class com.dc.analysis.jobs.AggregationJob
               sparkanalitic.jar param1 param2 param3

Я получаю сообщение об ошибке ниже, любезно предлагаю, что происходит неправильно, правильная команда или нет. Я использую CDH 5.3.1.

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with  
exitCode: 15 due to: Exception from container-launch.

Container id: container_1424284032717_0066_02_000001
Exit code: 15
Stack trace: ExitCodeException exitCode=15: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)  

Container exited with a non-zero exit code 15
.Failing this attempt.. Failing the application.
     ApplicationMaster host: N/A
     ApplicationMaster RPC port: -1
     queue: root.hdfs
     start time: 1424699723648
     final status: FAILED
     tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066
     user: hdfs

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: [email protected]
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

Любая помощь будет принята с благодарностью.

Ответы

Ответ 1

Это может означать много вещей, для нас мы получаем аналогичное сообщение об ошибке из-за неподдерживаемой версии Java-класса, и мы исправили проблему, удалив ссылочный класс Java в нашем проекте.

Используйте эту команду, чтобы увидеть подробное сообщение об ошибке:

yarn logs -applicationId application_1424284032717_0066

Ответ 2

Команда выглядит правильно.

Я столкнулся с тем, что "код выхода 15" обычно указывает на исключение TableNotFound. Это обычно означает ошибку в коде, который вы отправляете.

Вы можете проверить это, посетив URL отслеживания.

Ответ 3

Для меня проблема с кодом выхода решена путем размещения hive-site.xml в каталоге spark/conf.

Ответ 4

Вы должны удалить ".setMaster(" local ")" в коде.