Hadoop: подключение к ResourceManager не выполнено

После установки hadoop 2.2 и попытки запустить пример труб ive получил следующую ошибку (такая же ошибка появляется после попытки запуска hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt /out):

/usr/local/hadoop$ hadoop pipes -Dhadoop.pipes.java.recordreader=true -Dhadoop.pipes.java.recordwriter=true -input someFile.txt -output /out -program bin/wordcount
DEPRECATED: Use of this script to execute mapred command is deprecated.
Instead use the mapred command for it.

13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:08 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:09 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:10 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:11 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:12 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:13 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:14 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

My yarn-site.xml:

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>

ядро-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

mapred-site.xml:

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

HDFS-site.xml:

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>

Ive выяснил, что мой IPv6 отключен, как и должно быть. Может быть, мои /etc/hosts неверны?

/и т.д./хостов:

fe00::0         ip6-localnet
ff00::0         ip6-mcastprefix
ff02::1         ip6-allnodes
ff02::2         ip6-allrouters

127.0.0.1 localhost.localdomain localhost hduser
# Auto-generated hostname. Please do not remove this comment.
79.98.30.76 356114.s.dedikuoti.lt  356114
::1             localhost ip6-localhost ip6-loopback

Ответы

Ответ 1

Проблема с подключением менеджера ресурсов была связана с тем, что ive необходимо добавить несколько свойств к файлу пряжи .xml:

<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>

Тем не менее, моя работа не запускается, но соединение успешно выполняется

Ответ 2

Убедитесь, что вы начали пряжу. Используйте эту команду для запуска:

start-yarn.sh

Затем используйте эту команду, чтобы убедиться, что работает диспетчер ресурсов:

JPS

Результат должен выглядеть примерно так:

17542 NameNode

17920 SecondaryNameNode

22064 Jps

17703 DataNode

18226 ResourceManager

18363 NodeManager

Ответ 3

Правильным способом может быть добавление следующих строк в yarn-site.xml:

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
</property>

Поскольку поле значений хост представляет собой единственное имя хоста, которое может быть установлено вместо настройки всех ресурсов yarn.resourcemanager *. Результаты в портах по умолчанию для компонентов ResourceManager.

Apache Hadoop 2.7.1 - Конфигурации для ResourceManager

Параметр: yarn.resourcemanager.hostname
Значение: узел ResourceManager.
Примечания: host Единое имя хоста, которое можно установить вместо настройки всех ресурсов ресурса yarn.resourcemanager *. Результаты в портах по умолчанию для компонентов ResourceManager.

Ответ 4

У меня была та же проблема. Я решил это.

Так как проблема связана с ResourceManager, убедитесь, что работает пряжа или нет. Пряжа разделяется на разные сущности. Один из них - ResourceManager, который отвечает за распределение ресурсов для различных приложений, запущенных в кластере.

Сделайте следующие шаги.

Запустите прямую с помощью команды: start-yarn.sh
Проверяйте диспетчер ресурсов с помощью команды: jps
Добавьте следующий код в конфигурацию

<property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
</property>

Ответ 5

Configuration conf = HBaseConfiguration.create();
 conf.set("yarn.resourcemanager.address", "127.0.0.1:8032");

В conf вы можете установить yarn.resourcemanager.address

Ответ 6

Я решил ту же проблему, изменив значение на 127.0.0.1:* в yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
     </property>
      <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>127.0.0.1:8030</value>
     </property>
    <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>127.0.0.1:8031</value>
     </property>

Ответ 7

Эта проблема может быть вызвана отсутствием HADOOP_CONF_DIR, который необходим приложению MapReduce для подключения к диспетчеру ресурсов, который указан в файле yarn-site.xml. Таким образом, перед запуском задания MapReduce попытайтесь установить/экспортировать HADOOP_CONF_DIR вручную с помощью соответствующей папки Hadoop Conf, например экспорта HADOOP_CONF_DIR =/etc/hadoop/conf. Этот способ работал у меня:)

Ответ 8

Используйте нижеприведенные настройки в /etc/hosts, добавьте свое имя хоста вместо your_host_name:

127.0.0.1   localhost
127.0.0.1   your_host_name