Default Namenode порт HDFS - 50070. Но я столкнулся в некоторых местах 8020 или 9000

Когда я настраиваю кластер hadoop, я читаю прохождение namenode на 50070, и я настроил его соответствующим образом, и он работает нормально.

Но в некоторых книгах я натолкнулся на адрес node:

hdfs://localhost:9000/

или

hdfs://localhost:8020

Что именно является правильным номером для установки порта namenode?

Ответы

Ответ 1

Адрес веб-интерфейса namenode по умолчанию - http://localhost:50070/. Вы можете открыть этот адрес в своем браузере и проверить информацию о назначении.

По умолчанию адрес сервера namenode hdfs://localhost:8020/. Вы можете подключиться к нему для доступа к HDFS с помощью HDFS api. Это реальный служебный адрес.

Ответ 2

По умолчанию используются порты Hadoop: (HTTP-порты, они имеют WEB-интерфейс):

Daemon                   Default Port  Configuration Parameter
-----------------------  ------------ ----------------------------------
Namenode                 50070        dfs.http.address
Datanodes                50075        dfs.datanode.http.address
Secondarynamenode        50090        dfs.secondary.http.address
Backup/Checkpoint node?  50105        dfs.backup.http.address
Jobracker                50030        mapred.job.tracker.http.address
Tasktrackers             50060        mapred.task.tracker.http.address

Внутренне, Hadoop в основном использует Hadoop IPC, который означает Inter Process Communicator, для связи между серверами. В следующей таблице представлены порты и протоколы, которые использует Hadoop. В этой таблице не указаны HTTP-порты, упомянутые выше.

Daemon      Default Port        Configuration Parameter     
------------------------------------------------------------
Namenode    8020                fs.default.name         
Datanode    50010               dfs.datanode.address        
Datanode    50020               dfs.datanode.ipc.address                                    
Backupnode  50100               dfs.backup.address

Посмотрите эту ссылку Для получения дополнительной информации: http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/

Ответ 3

Это связано с тем, что по-умолчанию разные для разных конфигураций и распределений хаопов. Мы всегда можем настроить порт, изменив свойства fs.default.name или fs.defaultFS, как показано ниже в файле core-site.xml

<configuration>
 <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
 </property>
</configuration>

Для Hadoop 1.0.4, если я не упоминаю номер порта, как показано ниже

<value>hdfs://localhost</value>

тогда принятый порт по умолчанию - 8020. Но для некоторой версии, например .20, я читал ее 9000. Таким образом, она зависит от версии используемого вами хаопа.

Но вся конфигурация и дистрибуция используют 50070 в качестве стандартного номера порта для HDFS ui.

Ответ 4

Чтобы получить доступ к веб-интерфейсу Hadoop WEB, вам нужно ввести http://localhost:50075/ хотя ваш core-site.xml имеет http://localhost:9000, поскольку он предназначен для запросов hdfs, а 50075 - порт по умолчанию для WEB-интерфейса.

Ответ 6

50070 - это порт UI по умолчанию для Namenode для http. для https его 50470. 9000 - это порт IPC (Inter Process Communicator). Если вы нажмете на localhost: 50070, вы можете увидеть конфигурации наменода с обзором 9000 (активным) и на localhost: 9000 вы получите сообщение: "Похоже, вы делаете HTTP-запрос к порту IPC Hadoop. Это не правильный порт для веб-интерфейса на этом демоне". требуется для операций метаданных файловой системы.