WebHDFS vs HttpFS

В чем разница между API-интерфейсом WebHDFS REST и HttpFS?

Если я правильно понимаю:

  • HttpFS - это независимая служба, которая предоставляет API REST поверх HDFS
  • WebHDFS - это REST API, встроенный в HDFS. Это не требует дальнейшей установки.

Правильно ли я?

Когда было бы целесообразно использовать один вместо другого?

Ответы

Ответ 1

Я прочитал статью, связанную с вашим вопросом. Ниже приведена ссылка.

https://www.linkedin.com/today/post/article/20140717115238-176301000-accessing-hdfs-using-the-webhdfs-rest-api-vs-httpfs

WebHDFS vs HttpFs Основное различие между WebHDFS и HttpF: WebHDFS нуждается в доступе ко всем узлам кластера, и когда некоторые данные считываются, он напрямую передается из этого node, тогда как в HttpF сингл node будет действовать аналогично "шлюзу" и будет единственной точкой передачи данных клиенту node. Таким образом, HttpF могут быть подавлены во время большой передачи файлов, но хорошо, что мы минимизируем след, необходимый для доступа к HDFS.