Hadoop на EC2 против Elastic Map Reduce

Я пытаюсь оценить различия между этими двумя параметрами. Вот некоторые плюсы и минусы, о которых я могу думать:

Эластичная карта Уменьшить = > Лучшая поддержка Amazon, Нет необходимости администрировать кластер, Более дорогостоящий (?) EC2 + Hadoop = > Больше контроля над конфигурацией вашего приложения, дешевле (?)

Мне интересно, мог ли кто-нибудь сравнить производительность EC2 + Hadoop с EMR? Есть ли существенная разница в стоимости для развертывания больших кластеров? Какие существуют другие различия?

Ответы

Ответ 1

Ну, администрирование/мониторинг/поддержание кластера не является самой маленькой задачей. Используя EMR, вы можете быстро и быстро настроить машины и запустить их с помощью своего загрузочного кода. Помимо выполнения всех этих задач, EMR предоставляет множество других инструментов/опций/средств.

Здесь вам не нужно беспокоиться о том, чтобы завершить кластер после выполнения заданий, вы наверняка можете реализовать свой путь в настройке EC2 + Hadoop, но EMR делает это для вас аккуратным способом.

Также у вас есть возможность изменить размер кластера даже во время выполнения ваших заданий!

Свинья и куст, доступные в EMR, также содержат патчи, которые упрощают работу с файлами на S3.

Даже здесь в этом ответе вы можете обнаружить, что EMR получил верх.

Ответ 2

Мы используем оба подхода (EMR и EC2) на моей работе.

Преимущества EMR, о которых упоминается Amar, более или менее верны: поэтому, если вы хотите простоту, это может быть способ пойти.

Но есть и другие соображения:

  • версия EMR намного отстает от головы apache. это примерно 0,20,205, тогда как голова составляет 2.X, что по существу равно 3 версиям (1.0, 1.1, 2.0..)

hadoop @domU-12-31-39-07-B9-97: ~ $ll hadoop *.jar lrwxrwxrwx 1 hadoop hadoop 73 5 февраля 12:00 hadoop-examples-0.20.205.jar → /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-examples-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 69 5 февраля 12:00 hadoop-test-0.20.205.jar → /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-test-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 69 5 февраля 12:00 hasoop-core-0.20.205.jar → /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-core-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 70 Feb 5 12:00 hadoop-tools-0.20.205.jar → /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-tools-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 68 5 февраля 12:00 hadoop- ant -0.20.205.jar → /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-ant-0.20.205.jar

  • В качестве прямого следствия мне пришлось перекодировать/реструктурировать мою программу Map/reduce из-за отсутствия модулей Contrib в старой версии, запущенной на EMR

  • У вас не так много возможностей использовать алгоритмы без карты/уменьшения, как если бы вы использовали обновленную версию M/R.

  • Гибкость для смешивания и сопоставления версий экосистемы хаопов.