Ответ 1
Так как Hadoop 3.0.0 - Alpha 1 произошла смена конфигурации порта:
http://localhost:50070
был перенесен на
http://localhost:9870
Я уже установил Hadoop на свою машину "Ubuntu 13.05", и теперь у меня есть ошибка при просмотре localhost: 50070 браузер говорит, что страница не существует.
Так как Hadoop 3.0.0 - Alpha 1 произошла смена конфигурации порта:
http://localhost:50070
был перенесен на
http://localhost:9870
порт 50070 изменен на 9870 в версии 3.0.0-alpha1
На самом деле, многие другие порты тоже изменились. Посмотрите:
Namenode ports: 50470 --> 9871, 50070 --> 9870, 8020 --> 9820
Secondary NN ports: 50091 --> 9869, 50090 --> 9868
Datanode ports: 50020 --> 9867, 50010 --> 9866, 50475 --> 9865, 50075 --> 9864
Во-первых, проверьте, что java-процессы выполняются с помощью "jps". Если вы находитесь в псевдораспределенном режиме, у вас должны быть следующие возможности:
Если вы их не заметили, используйте команды перезапуска:
$HADOOP_INSTALL/bin/stop-all.sh
$HADOOP_INSTALL/bin/start-all.sh
Это также может быть связано с тем, что вы не открыли этот порт на машине:
iptables -A INPUT -p tcp --dport 50070 -j ACCEPT
Для последних версий hadoop (я использую 2.7.1)
Скрипты start\stop находятся в папке sbin
. Скрипты:
Мне не нужно было ничего делать с пряжей, хотя для запуска экземпляра NameNodeServer.
Теперь моя ошибка заключалась в том, что я не форматировал NameNodeServer HDFS.
bin/hdfs namenode -format
Я не совсем уверен, что это делает на данный момент, но он явно подготавливает пространство, на котором будет работать NameNodeServer.
Если вы можете открыть http://localhost: 8088/cluster, но не можете открыть http://localhost: 50070/. Может быть, datanode не запускался или namenode не формировался.
Версия Hadoop 2.6.4
проверьте, был ли сформирован ваш наменодай, если нет:
$ stop-all.sh
$ /path/to/hdfs namenode -format
$ start-all.sh
проверьте свой путь к файлу nmenode tmp, чтобы увидеть в /tmp
, если каталог namenode находится в /tmp
, вам нужно установить tmp-путь в core-site.xml
, так как каждый раз, когда вы перезагружаете или запускаете свой компьютер, файлы в /tmp
будет удален, вам нужно установить путь dmp tmp.
добавьте к нему следующее.
<property>
<name>hadoop.tmp.dir</name>
<value>/path/to/hadoop/tmp</value>
</property>
проверьте шаг 2, остановите hadoop и удалите dmp namenode tmp в /tmp
, затем введите /path/to/hdfs namenode -format
и запустите hadoop. Это также tmp
$HADOOP_HOME
в $HADOOP_HOME
Если все вышеперечисленное не поможет, пожалуйста, прокомментируйте ниже!
Пытаться
namenode -format
start-all.sh
stop-all.sh
jps
см. namenode
и datanode
работают и просматривают
localhost:50070
Если localhost:50070
все еще не работает, вам нужно localhost:50070
порты. Итак, проверьте
netstat -anp | grep 50070
Включите порт в вашей системе, чтобы для CentOS 7 выполнялись команды ниже
1.firewall-cmd --get-active-зоны
2.firewall-cmd --zone = dmz -add-port = 50070/tcp --permanent
3.firewall-cmd --zone = public --add-port = 50070/tcp --permanent
4.firewall-cmd --zone = dmz -add-port = 9000/tcp --permanent
5.firewall-cmd --zone = public --add-port = 9000/tcp --permanent 6.firewall-cmd --reload
Аналогичный вопрос и ответ: Пуск порта Hadoop 50075 не разрешен
Посмотрите файл core-site.xml, чтобы определить, к какому порту он установлен. Если 0, он будет произвольно выбирать порт, поэтому обязательно установите его.
Сначала все нужно сделать, это запустить хаоуд-узлы и трекеры, просто набрав start -all.sh на ур-терминале. Чтобы проверить запуск всех трекеров и узлов, напишите команду "jps". если все в порядке и работает, перейдите в свой браузер, введите следующий URL http://localhost: 50070
если вы работаете и старая версия Hadoop (hasoop 1.2), вы получили сообщение об ошибке, потому что http://localhost: 50070/dfshealth.html не выходит. Проверьте http://localhost: 50070/dfshealth.jsp, который работает!