Ошибка namenode в псевдорежиме - программирование

Я новичок в hadoop и участвую в фазе обучения. Согласно руководству Hadoop Definitve, я настроил свой хаоп в псевдораспределенном режиме, и все работает нормально. Я даже смог выполнить все примеры из главы 3 вчера. Сегодня, когда я перезагрузил свой unix и попытался запустить start-dfs.sh, а затем попробовал localhost:50070... он показывает ошибку и когда Я пытаюсь остановить dfs (stop-dfs.sh), он говорит, что namenode не останавливается. Я искал эту проблему, но никакого результата. Кроме того, когда я снова форматирую свой namenode... все начинает работать нормально, и я могу подключиться к localhost:50070 и даже реплицировать файлы и каталоги в hdfs, но как только я перезапущу свой Linux и попытаюсь подключиться к hdfs, возникает та же проблема.

Ответы

Ответ 1

вот кикер:

org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Каталог /tmp/hadoop -anshu/dfs/name находится в противоречивом состоянии: хранение директории не существует или нет доступны.

У меня были похожие проблемы. Я использовал stop -all.sh, чтобы закрыть hadoop. я думаю, мне было глупо думать, что это правильно сохранит данные в моей HDFS.

но насколько я могу судить по тому, что кажется подходящим фрагментом кода в hasoop-daemon.sh script, это не так - он просто убивает процессы:

(stop)

    if [ -f $pid ]; then
      if kill -0 `cat $pid` > /dev/null 2>&1; then
        echo stopping $command
        kill `cat $pid`
      else
        echo no $command to stop
      fi
    else
      echo no $command to stop
    fi

Вы посмотрели, существует ли каталог, на котором он жалуется? я проверил, а мой не сделал, хотя там была (пустая!) папка с данными здесь, я думаю, что данные могли когда-то существовать.

поэтому я предполагал, что нам нужно настроить Hadoop таким образом, чтобы наш namenode и datanode НЕ хранились в каталоге tmp. существует некоторая возможность того, что ОС выполняет техническое обслуживание и избавляется от этих файлов. либо, что вы указали, что вы не заботитесь о них больше, потому что вы не оставили бы их в каталоге tmp, если бы вы это сделали, и вы не перезапустили бы ваш компьютер в середине работы по сокращению карты. Я действительно не думаю, что это должно произойти (я имею в виду, что не так, как я буду создавать вещи), но это казалось хорошим догадкой.

поэтому на основе этого сайта http://wiki.datameer.com/display/DAS11/Hadoop+configuration+file+templates Я редактировал файл conf/hdfs-site.xml, чтобы указать на следующие пути (очевидно, создайте свои собственные каталоги, как вы сочтете нужным):

<property>
  <name>dfs.name.dir</name>
  <value>/hadoopstorage/name/</value>
</property>

<property>
  <name>dfs.data.dir</name>
  <value>/hadoopstorage/data/</value>
</property>

Сделал это, отформатировал новый namenode (к сожалению, потеря данных кажется неизбежной в этой ситуации), остановился и начал hasoop с помощью сценариев оболочки, перезапустил машину, и мои файлы все еще были там...

YMMV... надеюсь, что это сработает для вас! я на OS X, но я не думаю, что у вас должны быть разные результаты.

Ответ 2

Если вы не заботитесь о потере данных, просто выполните команду:

./hadoop namenode -format

Ответ 3

У меня была аналогичная проблема, и это помогло

chown -R hdfs:hadoop /path/to/namenode/date/dir

Ответ 4

Настройка этих свойств в файле conf/hdfs-site.xml сработала для меня!!!

Спасибо jsh

<property>
  <name>dfs.name.dir</name>
  <value>/hadoopstorage/name/</value>
</property>

<property>
  <name>dfs.data.dir</name>
  <value>/hadoopstorage/data/</value>`enter code here`
</property>

Не забудьте установить правильные разрешения для этих каталогов

Ответ 5

Ответ JSH правильный.

Всего несколько изменений для hadoop 2.6 я должен был сделать:

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/hadoopstorage/name/</value>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/hadoopstorage/data/</value>
</property>

Ответ 6

Если вы не решили проблему, попробуйте следующее: дайте директории dfs.name.dir в пользовательской группе hadoop и дайте группе разрешение на запись.

Ответ 7

Смотрите coresite.xml в каталоге конфигурации hadoop

Перейдите в каталог конфигурации
vi core-site.xml,hdf.site.xml
Убедитесь, что номера и пути вашего порта верны.

Ответ 8

У меня есть аналогичная проблема, но немного другая.

Запуск start-all.sh достаточно хорошо, но jps показывает, что нет наменоходов, и я не мог видеть список, когда я запускаю hdfs dfs -ls/.

Моя первая попытка - запустить hasoop namenode -format, затем появится namenode, но datanode исчезнет.

После запуска решения, я запустил rm -rf/usr/local/hadoop_store/hdfs/datanode/* и перезапустил hasoop, jps показывает:

    12912 ResourceManager  
    13391 FsShell  
    13420 Jps  
    13038 NodeManager  
    12733 SecondaryNameNode  
    12432 NameNode  
    12556 DataNode

Теперь я могу использовать команды hadoop, как обычно.

НТН!