Ответ 1
На YARN теоретически можно запустить что угодно, даже простую программу hello world. Вот почему говорить, что Kafka-Connect работает на YARN, технически правильно. Предостережение заключается в том, что для запуска Kafka-Connect на YARN в настоящий момент потребуется значительное количество смазки для локтей. Есть два способа сделать это:
- Непосредственно поговорите с API YARN, чтобы получить контейнер, развернуть двоичные файлы Kafka-Connect и запустить Kafka-Connect.
- Используйте отдельный проект Slider https://slider.incubator.apache.org/docs/getting_started.html, который Стефан уже упоминал в комментариях.
ползунок
Вам нужно будет прочитать немало документации, чтобы заставить его работать, но идея Slider заключается в том, что вы можете заставить любую программу работать на YARN, не имея дело с API YARN и написав мастер-приложение YARN, выполнив следующие действия:
- Создайте пакет слайдера из вашей программы
- Определите конфигурацию для вашего пакета
- Используйте ползунок cli для развертывания приложения на YARN
Слайдер управляет развертыванием и восстановлением поврежденных контейнеров, что приятно. Также Slider становится родной частью YARN, когда YARN 3.0 выпущен.
альтернативы
Также в качестве дополнительного примечания, получить Kafka-Connect для развертывания в Kubernetes или Mesos/Marathon, вероятно, будет проще. Основной рабочий процесс для этого будет:
- Создайте док-контейнер Kafka-Connect или просто используйте конфлюентный док-контейнер
- Создайте конфигурацию развертывания для Kubernetes или Marathon
- Нажмите кнопку/запустите команду