Как использовать hadoop для веб-приложения?

Я работаю над сетевым веб-сайтом, использующим веб-сервер Apache и сервер MYSQL для базы данных с фреймворками MVC. Я не знаю, как интегрировать Hadoop в это приложение и как писать программу сокращения карт.

Ответы

Ответ 1

Hadoop и map-reduce не имеют прямого отношения к веб-приложениям. Вы не должны интегрировать Hadoop в веб-приложение, пока вы понимаете веб-приложение как нечто, которое быстро реагирует на ввод пользователя (веб-запросы).

Hadoop и map-reduce очень полезны для алгоритмов, которые выполняются на больших наборах данных, чтобы преобразовывать/извлекать данные/знания из этих наборов данных.

Ответ 2

Хотя это правда, что Hadoop в настоящее время в основном используется для "оффлайновой аналитики", он может быть полезен и для веб-проектов. Например, чтобы предварительно вычислить рекомендации или предложения, которые затем предоставляются пользователям веб-сайта.

Другим примером использования является возможность использования ETL из нескольких источников данных для создания инвертированного индекса для веб-сайта (например, рабочие места/автомобили/сайты, подобные аренде, с огромным количеством входных данных).

Всегда думайте о Hadoop, когда у вас проблема с "большими данными", а не на том, что ваш сайт управляет небольшими объемами данных.

Использование Hadoop для решения таких проблем имеет некоторые преимущества и недостатки. Очевидным преимуществом является то, что он делает какой-то пакетный процесс (например, примеры, о которых я упоминал) масштабируется прозрачно. Недостатком является то, что он не в режиме реального времени: вы не можете использовать Hadoop для обновления своего веб-сайта каждые 5 секунд.

Ответ 3

Я думаю, что Hadoop может иметь два "классических" обычаев для стиля социальных сетей приложений.

Сначала используется HBASE для хранения сообщений и другой динамической информации. Хранение пользовательских профилей в HBASE также можно рассматривать, чтобы полностью заменить MySQL таким решением NoSQL.

Во-вторых, использование Hadoop MapReduce для анализа вашей сети. Хорошим примером такого анализа является поиск предложений друзей.

Ответ 4

Используя hadoop, проанализируйте свои данные и принесите результаты в свою базу данных mysql. Затем используйте это с вашим веб-приложением.

Ответ 5

Да, можно сделать веб-приложение с помощью apache hadoop в качестве back-end

Вы можете создать веб-приложение, используя улей apache и свиньи, которые вы можете написать настраиваемым картографом и редукторами и использовать как udf, но личный опыт медленный. Если у вас очень мало данных, лучше использовать другую базу данных и аналитику, Я предпочитаю, чтобы искра была решением для лучшего времени отклика.