Зачем нам нужен Hadoop без пароля ssh?

  • AFAIK, без пароля ssh необходимо, чтобы мастер node мог запускать процессы демона на каждом подчиненном устройстве node. Кроме того, есть ли использование без пароля ssh для работы Hadoop?

  • Как блоки и коды данных пользователя передаются через подчиненные узлы? Я хочу знать механизм и используемый протокол.

  • SSH без пароля необходимо ТОЛЬКО настраивать для пар master-slave или даже для ведомых устройств

Ответы

Ответ 1

Вы правы. Если ssh не является безлицензионным, вам необходимо перейти на каждую отдельную машину и запустить все процессы там вручную. Для вашего второго вопроса все сообщения в HDFS происходят через TCP/IP, а для передачи данных используется HTTP. Механизм выглядит следующим образом:

Клиент устанавливает соединение с настраиваемым TCP-портом на Машина NameNode. Он говорит ClientProtocol с NameNode. DataNodes разговаривают с NameNode, используя протокол DataNode. Удаленный Абзакция процедуры вызова (RPC) обертывает как клиентский протокол, так и протокол DataNode.

И для третьего вопроса, нет необходимости иметь безсчетную ssh среди подчиненных узлов.

Ответ 2

Ответ на первый вопрос:

Ядро Hadoop использует Shell (SSH) для запуска серверных процессов на подчиненных узлах. Он требует подключения без пароля SSH между ведущим и всеми подчиненными устройствами и дополнительными машинами.

Мы нуждаемся в SSH без пароля в полностью распределенной среде, потому что, когда кластер LIVE и работает в Fully Распределенная среда, связь слишком частая. Менеджер заданий должен иметь возможность быстро отправить задачу в диспетчер задач.