Доступ к Hue на докере Cloudera QuickStart

Я установил быстрый запуск cloudera с помощью докеров на основе приведенных здесь инструкций.

https://blog.cloudera.com/blog/2015/12/docker-is-the-new-quickstart-option-for-apache-hadoop-and-cloudera/

docker run --privileged=true --hostname=quickstart.cloudera -p 7180 -p 8888 -t -i 9f3ab06c7554 /usr/bin/docker-quickstart

Вы можете видеть, что я делаю -p 7180 и -p 8888 для сопоставления портов.

когда контейнер успешно загрузился. Я видел, что запуск службы оттенков не удался. но я запустил его вручную, используя sudo service hue restart, и он показал ОК.

Теперь я побежал

/home/cloudera/cloudera-manager --express --force

эта команда прошла успешно. Я получил сообщение для подключения к CM, используя http://cloudera.quickstart:7180

Теперь на моей главной машине я сделал docker-machine env default, и я мог видеть вывод

export DOCKER_TLS_VERIFY="1"
export DOCKER_HOST="tcp://192.168.99.100:2376"
export DOCKER_CERT_PATH="/Users/abhishek.srivastava/.docker/machine/machines/default"
export DOCKER_MACHINE_NAME="default"

Теперь в моем браузере на главной машине я сделал

http://192.168.99.100:7180
http://192.168.99.100:8888
http://quickstart.cloudera:7180
http://quickstart.cloudera:8888

но все не удается подключиться к какой-либо странице. Поэтому даже после выполнения переадресации портов... Я не могу получить доступ к менеджеру cloudera или HUE UI с главной машины.

Я использую OSX.

Я также зашел в виртуальный интерфейс диспетчера виртуальных машин и выбрал виртуальную машину по умолчанию. Я перешел в настройки → network → port forwarding. и сделал следующие записи

введите описание изображения здесь

но я не могу получить доступ к менеджеру cloudera и HUE....

Ответы

Ответ 1

Поскольку вы запускаете машину докеров в виртуальной машине, вам нужно открыть порт на VirtualBox.

Вы можете сделать это с помощью кнопки "Переадресация портов" на панели сетевого адаптера в VirtualBox.

Настройки > Сеть > Дополнительно > Перенаправление портов

Вы должны увидеть, что порт SSH уже отправлен для докеров. Просто добавьте дополнительные порты, подобные этому.

И вот список всех портов, используемых CDH. Конечно, им не нужны все. Я бы предложил по крайней мере Cloudera Manager (7180), namenode и datanode UI (50070 и 50075), а также серверы работы, такие как mapreduce (8088,8042 и 10020) или искра (18080 и 18081). И я лично не использую его, но Хью - это 8888.

Ответ 2

При запуске docker с помощью -p 7180 и -p 8888 он будет выделять случайный порт на вашем Windows-хосте. Однако, если вы используете -p 7180: 7180 и -p 8888: 8888, предполагая, что эти порты свободны на хосте, он будет отображать их напрямую.

В противном случае вы можете выполнить docker ps, и он покажет вам, какие порты он сопоставил с 7180 и 8888. Затем в браузере хоста вы можете ввести

http://192.168.99.100:<docker-allocated-port>

вместо

http://192.168.99.100:7180

Если все это на вашей локальной машине, вам не нужно переадресация портов.

Ответ 3

Я столкнулся с той же проблемой здесь и решил теперь основываться на комментариях и сообщениях выше. Есть два вопроса, упомянутых выше:

  • Не удалось запустить Hue. В моем случае это вызвано ограниченными ресурсами, выделенными настройками виртуальной док-станции Docker. Согласно ответу @Ronald Teo, перейдя к

    VirtualBox → 'default' [ваше имя док-машины] → Настройки → Система

    увеличить базовую память до 8192 МБ, а процессоры по крайней мере до 3, устранили мою проблему.

  • Невозможно получить доступ к Hue с моего хост-компьютера. На основе исходного сообщения Try docker run --privileged=true --hostname=quickstart.cloudera -p 7180:7180 -p 8888:8888 -t -i 9f3ab06c7554 /usr/bin/docker-quickstart должен решить эту проблему.

Ответ 4

То же самое случилось со мной. Я смог успешно начать оттенок после увеличения количества процессоров в VirtualBox. Я также увеличил объем оперативной памяти раньше. Исходный CPU я был 1, изменен на 3

Screenshot of virtual box cpu settings -> Click here

Ответ 5

Перезапустить Hue после закрытия контейнера

Увеличьте память докера до 8 ГБ, если сможете. В противном случае установите его как минимум на 4 ГБ. Пусть оттенок не работает при запуске контейнера. После этого прикрепите к контейнеру докера и получите доступ к его оболочке для запуска следующей команды:

Чтобы остановить сервер Hue:

$sudo service hue stop

Чтобы запустить сервер Hue:

$sudo service hue start