Как начать обучение hadoop

Я - веб-разработчик. У меня есть опыт работы в таких веб-технологиях, как JavaScript, JQuery, Php, HTML. Я знаю основные понятия C. Недавно я проявил интерес к тому, чтобы больше узнать о mapreduce и hadoop. Поэтому я зачислил себя в параллельную обработку данных в режиме mapreduce в моем университете. Так как у меня нет каких-либо предварительных знаний о программировании на любых объектно-ориентированных языках, таких как Java или С++, как мне нужно учиться сокращению карты и хауопа. Я начал читать учебные пособия Yahoo с помощью, а также OReilly Hadoop The Definitive Guide 2nd.Edition.

Я хотел бы, чтобы вы, ребята, предложили мне, как я могу заниматься обучением mapreduce и hadoop.

Ответы

Ответ 1

Вы можете получить доступ к Hadoop с разных языков, и для вас настроен ряд ресурсов Hadoop. Например, вы можете попробовать Amazon Elastic MapReduce (EMR), не испытывая затруднений при настройке серверов, рабочих и т.д. Это хороший способ обработать карту MapReduce, одновременно задерживая проблемы с обучением хорошо использовать HDFS, как управлять планировщиком и т.д.

Не сложно найти ваш любимый язык и найти API Hadoop для него или, по крайней мере, некоторые учебные пособия по связыванию с Hadoop. Например, здесь прохождение по PHP-приложению выполняется на Hadoop: http://www.lunchpauze.com/2007/10/writing-hadoop-mapreduce-program-in-php.html

Ответ 2

Вот несколько хороших видеороликов YouTube на MapReduce

http://www.youtube.com/watch?v=yjPBkvYh-ss

http://www.youtube.com/watch?v=-vD6PUdf3Js

http://www.youtube.com/watch?v=5Eib_H_zCEY

http://www.youtube.com/watch?v=1ZDybXl212Q

http://www.youtube.com/watch?v=BT-piFBP4fE

Кроме того, здесь представлены интересные руководства по настройке Hadoop на Ubuntu

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

Ответ 3

Ответ 1:

  • Очень желательно знать Java. Hadoop написан на Java. Его популярный формат файла последовательности зависит от Java.
  • Даже если вы используете Hive или Pig, вам, вероятно, когда-нибудь понадобится написать свой собственный UDF. Некоторые люди все еще пытаются записать их на других языках, но я думаю, что Java имеет более надежную и первичную поддержку для них.
  • Большинство инструментов Hadoop недостаточно зрелы (например, Sqoop, HCкаталог и т.д.), поэтому вы увидите много трассировок стека ошибок Java и, возможно, вам захочется взломать исходный код когда-нибудь

Ответ 2

  • Вам не требуется знать Java.
  • Как говорили другие, это будет очень полезно в зависимости от сложности вашей обработки. Тем не менее, есть невероятная сумма, которую вы можете сделать с помощью Pig и сказать Hive.
  • Я бы согласился с тем, что вполне вероятно, что вам в конечном итоге понадобится написать определенную пользователем функцию (UDF), однако я написал их в Python, и очень легко писать UDF в Python.
  • Конечно, если у вас есть очень строгие требования к производительности, то программа MapReduce на основе Java станет для вас способом. Тем не менее, большие успехи в производительности делаются все время как в Pig, так и в Hive.
  • Итак, короткий ответ на ваш вопрос: "Нет", вам не нужно знать Java, чтобы выполнить разработку Hadoop.

Источник: http://www.linkedin.com/groups/Is-it-must-Hadoop-Developer-988957.S.141072851

Ответ 4

1) Изучите Java. Ничего подобного, извините.

2) Прибыль! После этого будет очень легко - Hadoop довольно прост.

Ответ 5

Похоже, ты на правильном пути. Я рекомендую настроить некоторые виртуальные машины на вашем домашнем компьютере, чтобы начать принимать то, что вы видите в книгах, и внедрять их на своих виртуальных машинах. Как со многими вещами, единственный способ стать лучше в чем-то - это практиковать его. Как только вы войдете, я уверен, что у вас будет достаточно знаний, чтобы начать небольшой проект по реализации Hadoop. Вот несколько примеров того, что люди создали с помощью Hadoop: Работает на Hadoop

Ответ 7

Пройдите руководство Yahoo Hadoop перед тем, как пройти через Hadoop окончательное руководство. Учебник Yahoo дает вам очень чистое и легкое понимание архитектуры. Я думаю, что в Книге эти концепции не упорядочены должным образом. Это затрудняет изучение этого. Так что не изучайте его вместе. Сначала посетите веб-учебник.

Ответ 8

Не стесняйтесь присоединяться к моему блогу о больших данных - https://oyermolenko.blog. Я работаю с Hadoop в течение нескольких лет, и в этом блоге хочу поделиться своим опытом с самого начала. Я пришел из среды .NET и столкнулся с несколькими проблемами, связанными с переходом с одного языка на другой. Мой блог ориентирован на людей, которые не работали с Hadoop, но имеют некоторые основные технические предпосылки, как вы. Шаг за шагом я хочу охватить всю семью служб Big Data, описать концепции и общие проблемы, с которыми я столкнулся, работать с ними. Надеюсь, вам понравится.