Каковы хорошие ресурсы для изучения исходного кода Hadoop?

Есть ли хорошие ресурсы, которые помогут мне изучить исходный код Hadoop? Я особенно ищу университетские курсы или исследовательские работы.

Ответы

Ответ 1

Изучение Hadoop или MapReduce может быть сложной задачей, если вы заработаете свою руку в начале.
Я следил за расписанием следующим образом:

  • Начните с самых оснований MR с code.google.com/edu/parallel/dsd-tutorial.html code.google.com/edu/parallel/mapreduce-tutorial.html
  • Затем переходим к первым двум лекциям в www.cs.washington.edu/education/courses/cse490h/08au/lectures.htm Очень хороший вводный курс для MapReduce и Hadoop.
  • Прочтите оригинал http://research.google.com/archive/mapreduce.html и его улучшения в обновленной версии http://www.cs.washington.edu/education/courses/cse490h/08au/readings/communications200801-dl.pdf
  • Затем перейдите к другим видео в ссылке U.Washington, приведенной выше.
  • Попробуйте использовать условия "Карта уменьшить" и "hadoop", чтобы найти видео по ORielly и Google RoundTable для хорошего обзора будущего Hadoop и MapReduce.
  • Затем перейдите к самым важным видеороликам -
    Видео Cloudera
    www.cloudera.com/resources/?media=Video
    и
    Серия Google MiniLecture
    code.google.com/edu/submissions/mapreduce-minilecture/listing.html

Наряду со всем Мультимедиа выше нам нужны хорошие письменные материалы
Документы:

  • Архитектурные диаграммы на сайте hadooper.blogspot.com хороши на вашей стене.
  • Hadoop: окончательное руководство больше относится к гайкам и болтам всей системы, где Hadoop в действии хорошо читает с большим количеством примеров обучения, чтобы изучить концепции хауопа. Pro Hadoop не для начинающих.
  • PDF-документы документации от Apache Foundation
    hadoop.apache.org/common/docs/current/и hadoop.apache.org/common/docs/stable/
    поможет вам узнать, как моделировать вашу проблему в MR-решении, чтобы получить преимущества Hadoop в целом.
  • Документ HDFS от Yahoo! Исследования также хорошо читаются, чтобы получить глубокое знание хауопа.
  • Подпишитесь на список рассылки пользователей, MapReduce и HDFS, чтобы узнать о проблемах, решениях и будущих решениях.
  • Попробуйте http://developer.yahoo.com/hadoop/tutorial/module1.html ссылку для новичков на экспертный путь к Hadoop

Для любых запросов...
Связаться с Apache, Google, Bing, Yahoo!

Ответ 2

Ваш вопрос кажется слишком широким. Чтобы получить ресурс, который можно использовать, глядя на исходный код, вы должны сузить свой фокус того, что вы хотите изучать. Это облегчит вам (и любой из них) поиск документов/тем, охватывающих эту тему.

Я несколько раз врывался в источник Hadoop. Обычно с очень специфическим классом мне нужно было узнать. В этих случаях внешний ресурс действительно не нужен, и поскольку у меня было имя класса, я просто искал его и нашел ресурсы.

Если бы я начал пытаться понять источник hadoop на более высоком уровне, я бы получил исходный код и мою копию Hadoop: окончательное руководство и используйте это как ссылку для понимания соединений верхнего уровня исходного кода.

Я не буду утверждать, что это было бы идеальным решением. H: TDG находится на более техническом уровне, чем другие книги, которые я имею, и я считаю, что это очень информативно. H: TDG - это то, с чего я начну, и поскольку я нашел области, в которых я хотел вникать в больше, я бы начал искать их специально.