Hadoop 2.2 Установка `. ' Данный файл или каталог отсутствует

Я установил Hadoop и HDFS, используя этот учебник

http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html

Все в порядке.

Я также могу создавать каталоги и использовать их с помощью

hadoop fs -mkdir /tmp
hadoop fs -mkdir /small

Я также могу сказать

hadoop fs -ls /

Однако я следую учебнику, в котором тренер делает

hadoop fs -mkdir temp
hadoop fs -ls

теперь на моей машине, когда я выдаю указанную выше команду, она говорит

ls: `.': No such file or directory

В моем учебном видео команда hasoop fs -ls отлично работает. Почему я должен указывать "/"?

Также я получаю это предупреждение во всех моих командах

13/12/28 20:23:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Но в моем тренере видео нет такого предупреждения.

Мой конфигурационный файл в точности соответствует приведенному выше руководству, и я также могу видеть все интерфейсы управления в

http://abhishek-pc:8042/
http://abhishek-pc:50070/
http://abhishek-pc:8088/

Итак, мой вопрос в том, что не так с моей конфигурацией и почему моя система ведет себя иначе, чем обучающее видео?

Ответы

Ответ 1

Ну, ваша проблема в отношении ls: '.': No such file or directory "заключается в том, что для вашего текущего пользователя нет HDR на HDFS. Попробуйте

hadoop fs -mkdir -p /user/[current login user]

Затем вы сможете hadoop fs -ls

В соответствии с этим предупреждением WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable, пожалуйста, см. мой ответ на этот вопрос

Ответ 2

Во-первых:

hdfs dfs -mkdir /user

затем выполните

hdfs dfs -mkdir /user/hduser

Ответ 3

Решил это. Запустите hasoop fs -ls как пользователь hdfs (не как пользователь root). #su - hdfs.

Ответ 4

Я столкнулся с аналогичным типом проблемы во время учебного пособия по форме hadoop link-

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

когда я попробовал команду - bin/hdfs dfs -put etc/hadoop input, он говорит

mkdir: `input': No such file or directory

тогда проблема, решаемая путем добавления дополнительных/для ввода и команды, должна быть -

bin/hdfs dfs -put etc/hadoop /input

Ответ 5

Это также может произойти из-за неправильных символов возврата каретки. Запустите `dos2unix 'во всех исполняемых файлах hdfs (shell script) и, если потребуется, все другие связанные с ним сценарии оболочки.

Ответ 6

Создание домашней директории разрешило ее, но может ли кто-нибудь объяснить, почему на самом деле это исчезло в первую очередь?

Ответ 7

Прежде всего, когда вы хотите в первый раз поместить что-то в свой HDFS, вы должны сделать это:

  • hdfs fs -mkdir -p /user/nameuser(the name of user )
  • hdfs fs -put ~/file

Ответ 8

после hdfs dfs -mkdir /user/[user name]

do:

hadoop fs -ls /

он работает от меня!