Как использовать hadoop для веб-приложения?
Я работаю над сетевым веб-сайтом, использующим веб-сервер Apache и сервер MYSQL для базы данных с фреймворками MVC. Я не знаю, как интегрировать Hadoop в это приложение и как писать программу сокращения карт.
Ответы
Ответ 1
Hadoop и map-reduce не имеют прямого отношения к веб-приложениям. Вы не должны интегрировать Hadoop в веб-приложение, пока вы понимаете веб-приложение как нечто, которое быстро реагирует на ввод пользователя (веб-запросы).
Hadoop и map-reduce очень полезны для алгоритмов, которые выполняются на больших наборах данных, чтобы преобразовывать/извлекать данные/знания из этих наборов данных.
Ответ 2
Хотя это правда, что Hadoop в настоящее время в основном используется для "оффлайновой аналитики", он может быть полезен и для веб-проектов. Например, чтобы предварительно вычислить рекомендации или предложения, которые затем предоставляются пользователям веб-сайта.
Другим примером использования является возможность использования ETL из нескольких источников данных для создания инвертированного индекса для веб-сайта (например, рабочие места/автомобили/сайты, подобные аренде, с огромным количеством входных данных).
Всегда думайте о Hadoop, когда у вас проблема с "большими данными", а не на том, что ваш сайт управляет небольшими объемами данных.
Использование Hadoop для решения таких проблем имеет некоторые преимущества и недостатки. Очевидным преимуществом является то, что он делает какой-то пакетный процесс (например, примеры, о которых я упоминал) масштабируется прозрачно. Недостатком является то, что он не в режиме реального времени: вы не можете использовать Hadoop для обновления своего веб-сайта каждые 5 секунд.
Ответ 3
Я думаю, что Hadoop может иметь два "классических" обычаев для стиля социальных сетей приложений.
Сначала используется HBASE для хранения сообщений и другой динамической информации. Хранение пользовательских профилей в HBASE также можно рассматривать, чтобы полностью заменить MySQL таким решением NoSQL.
Во-вторых, использование Hadoop MapReduce для анализа вашей сети. Хорошим примером такого анализа является поиск предложений друзей.
Ответ 4
Используя hadoop, проанализируйте свои данные и принесите результаты в свою базу данных mysql. Затем используйте это с вашим веб-приложением.
Ответ 5
Да, можно сделать веб-приложение с помощью apache hadoop в качестве back-end
Вы можете создать веб-приложение, используя улей apache и свиньи, которые вы можете написать настраиваемым картографом и редукторами и использовать как udf, но личный опыт медленный. Если у вас очень мало данных, лучше использовать другую базу данных и аналитику, Я предпочитаю, чтобы искра была решением для лучшего времени отклика.
Ответ 6
В своем веб-приложении вы можете получить требуемые данные из Hadoop (например, результаты работы) с помощью служб REST: https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html