У меня есть Hadoop-кластер с 5 узлами, каждый из которых имеет 12 ядер с памятью 32 ГБ. Я использую YARN как карту MapReduce, поэтому у меня есть следующие настройки с YARN:
Затем метрики кластера, показанные на моей странице кластера YARN (http://myhost:8088/cluster/apps), показали, что VCores Total - 40 б > . Это очень хорошо!
Затем я установил Spark поверх него и использовал искровую оболочку в режиме нити-клиента.
Я выполнил одно задание Spark со следующей конфигурацией:
Я устанавливаю - executor-core как 10, - num-executors как 4, поэтому логически, должно быть полностью 40 используемых Vcores. Однако, когда я проверяю одну и ту же страницу кластера YARN после запуска задания Spark, есть только 4 используемых Vcores и 4 Vcores Total
Я также нашел, что есть параметр в capacity-scheduler.xml - под названием yarn.scheduler.capacity.resource-calculator:
"Реализация ResourceCalculator, которая будет использоваться для сравнения ресурсов в планировщике. Значение по умолчанию, равное по умолчаниюResourceCalculator, использует только память, а DominantResourceCalculator использует доминантный ресурс для сравнения многомерных ресурсов, таких как память, процессор и т.д."
Затем я изменил это значение на DominantResourceCalculator.
Но затем, когда я перезапустил YARN и запустил одно и то же приложение Spark, я все равно получил тот же результат, скажем, показатели кластера все еще говорят, что VCores используется 4! Я также проверил использование ЦП и памяти на каждом node с помощью команды htop, я обнаружил, что ни один из узлов не имел всех 10 ядер процессора. В чем причина?
Я попытался также выполнить одно и то же задание Spark, скажем, с помощью --num executors 40 --executor-cores 1, таким образом, я снова проверил статус CPU для каждого рабочего node, и все ядра ЦП полностью заняты.
Исполнители принимают 10 ядра, 2 ядра для Мастер приложений= 42 > Ядро запрашивает, когда у вас 40 vCores total.
Уменьшите ядра исполнителей до 8 и обязательно перезапустите каждый NodeManager
Также измените yarn-site.xml и установите следующие свойства:
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores
Мне было интересно то же самое, но изменение ресурса-калькулятора работало для меня.
Вот как я установил свойство:
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>
Проверьте в YARN UI в приложении количество контейнеров и vcores, с изменением количества контейнеров должно быть исполнителей + 1, а vcores должны быть: (executor-corees * num-executors) +1.
Без установки планировщика YARN на FairScheduler я увидел то же самое. Пользовательский интерфейс Spark показал правильное количество задач, хотя и предполагал, что ничего не случилось. Мой кластер показал около 100% использования ЦП, что подтвердило это.
После настройки FairScheduler ресурсы YARN выглядели правильно.