Я пытаюсь установить одну установку node Hadoop на Ubuntu. Я начал следовать инструкциям в документах Hadoop 2.3.
Но мне, кажется, не хватает чего-то очень простого.
Во-первых, он говорит
Чтобы получить дистрибутив Hadoop, загрузите последний стабильный выпуск из одного из зеркал загрузки Apache.
Затем
Распакуйте загруженное распределение Hadoop. В дистрибутиве отредактируйте файл conf/hadoop-env.sh, чтобы определить, по крайней мере, JAVA_HOME, как корень вашей установки Java.
Однако я не могу найти каталог conf.
Я загрузил версию 2.3 на одно из зеркал. Затем распакуйте tarball, ls внутренних возвратов:
$ ls
bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share
Мне удалось найти файл, на который они ссылались, просто не в каталоге conf:
$ find . -name hadoop-env.sh
./etc/hadoop/hadoop-env.sh
Я что-то упускаю, или я хватаю неправильный пакет? Или документы только устарели?
Если да, то кто-нибудь знает, где еще находятся более современные документы?
Я пытаюсь установить псевдораспределенный режим Hadoop, столкнувшись с той же проблемой.
Следуя книге Hadoop The Definitive Guide (Третье издание), на странице 618, говорится:
In Hadoop 2.0 and later, MapReduce runs on YARN and there is an additional con-
figuration file called yarn-site.xml. All the configuration files should go in the
etc/hadoop subdirectory
Надеюсь, это подтвердит, что etc/hadoop является правильным местом.
Я думаю, что документы нужно обновить. Хотя структура каталогов изменилась, имена файлов для важных файлов, таких как hadoop-env.sh, core-ste.xml и hdfs-site.xml, не изменились. Вы можете найти следующую ссылку, полезную для начала работы.
http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html
В Hadoop1,
{$HADOOP_HOME}/conf/
В Hadoop2,
{$HADOOP_HOME}/etc/hadoop
Просто добавив примечание к сообщению в блоге http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html. Блогпост фантастический и очень полезный. Это как я начал. Один из аспектов, на который я потратил немного времени, состоит в том, что этот блог, похоже, использует упрощенный способ настройки конфигурации в файлах confo confo, таких как "conf/core-site.xml", hdfs-site.xml и т.д. следующим образом
<!--fs.default.name is the name node URI -->
<configuration>
fs.default.name
hdfs://localhost:9000
</configuration>
В соответствии с официальными документами существует более строгий способ - это было бы полезно, если у вас есть несколько свойств, чтобы добавить его следующим образом (обратите внимание - описание необязательно:-))
<configuration>
<property>
<name> fs.default.name </name>
<value>hdfs://localhost:9000 </value>
<description>the name node URI </description>
</property>
<!--Add more configuration properties here -->
</configuration>
в Hadoop 2.7.3 файл находится в hasoop-common/src/main/conf/
$ sudo find . -name hadoop-env.sh
./hadoop-2.7.3-src/hadoop-common-project/hadoop-common/src/main/conf/hadoop-env.sh