Я пытаюсь реализовать одну примерную программу подсчета слов, используя Hadoop. Я загрузил и установил Hadoop 2.0.0. Я хочу сделать эту примерную программу, используя Eclipse, потому что позже я думаю, что в моем реальном проекте мне нужно использовать только Eclipse.
Я не могу найти файлы Jar, связанные с Hadoop, такие как hadoop-core.jar и другие необходимые файлы jar. Я искал во всех папках 2.0 hadoop, но не смог найти эти файлы. Те же самые файлы доступны в версии 1.0 Hadoop, но не в версии 2.0. Я хотел бы знать, где я могу получить эти файлы?
Я не могу найти много информации о версии 2.0.
пожалуйста, помогите
На самом деле, я столкнулся с аналогичной проблемой в начале. По-видимому, для версии 2 нет hadoop-core.jar. Вам нужно будет скачать Hadoop Common и MapReduce Client Core и используйте их оба. Я уверен, что это решит ваши проблемы. Надеюсь, это поможет!
Изменить: Я только что обновил ссылки, чтобы люди могли выбрать подходящую версию из репозитория, так как теперь мы проходим мимо начальной версии 2.
Включение JAR в папки, перечисленные ниже, работало для меня:
share\hadoop\common
share\hadoop\common\lib
share\hadoop\mapreduce
share\hadoop\mapreduce\lib
share\hadoop\yarn
share\hadoop\yarn\lib
hasoop-core - ${HADOOP_VERSION}.jar находится в
${HADOOP_HOME}/share/hadoop/common
а не ${HADOOP_HOME}.
Это работает для меня на Mac на Hadoop 2.6.0:
hadoop/2.6.0/libexec/share/hadoop/common/hadoop-common-2.6.0.jar
или просто выполните поиск ".jar" в каталоге hadoop, вы увидите все файлы .jar.
hadoop-core-{version}.jar стал hadoop-common-{version}.jar, начиная с Hadoop 2 +
Мы можем получить файлы jar с https://mvnrepository.com.
Пример - https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/1.2.1
В hadoop 2.7.2 я должен был установить его так же, как HADOOP_COMMON_HOME.
В нижерасположенном каталоге вы можете найти папку, названную дистрибутивом, которую вы установили, внутри которой находится папка jar. /opt/cloudera/parcels/ [распределение cloudera]/jars/
Пример:/opt/cloudera/parcels/CDH-5.4.10/jars