Spark on K8s - получение ошибки: режим kube не поддерживает ссылки на приложения depenpendcies в локальном

Ответ 1

Сообщение об ошибке приходит от commit 5d7c4ba4d73a72f26d591108db3c20b4a6c84f3f и включает указанную вами страницу: " Запуск Spark on Kubernetes " с упоминанием о том, что вы указываете:

// TODO(SPARK-23153): remove once submission client local dependencies are supported.
if (existSubmissionLocalFiles(sparkJars) || existSubmissionLocalFiles(sparkFiles)) {
  throw new SparkException("The Kubernetes mode does not yet support referencing application " +
    "dependencies in the local file system.")
}

Это описано в SPARK-18278:

он не согласился бы запустить локальный файл jar, например local:///opt/spark/examples/jars/spark-examples_2.11-2.2.0-k8s-0.5.0.jar, на изображении моей докеры (например, allowsMixedArguments и isAppResourceReq booleans в SparkSubmitCommandBuilder.java мешают).

И это связано с проблемой кубернетов 34377

Проблема SPARK-22962 "Приложение Kubernetes не работает, если используются локальные файлы":

Это прецедентный сценарий сервера ресурсов. Мы будем развивать это в 2.4.0.

Тем временем это сообщение об ошибке было введено в PR 20320.

Он включает комментарий:

В ручных тестах я действительно использовал основную панель приложений, расположенную на gcs и http.
Чтобы быть конкретным и для записи, я сделал следующие тесты:

• Использование gs://главного приложения jar и javascript http://. Преемник.
• Использование https://главного приложения jar и javascript зависимости http://. Преемник.
• Использование локального://главного приложения jar. Преемник.
• Использование файла://main application jar. Не удалось.
• Использование файла://байт зависимости. Не удалось.

Эта проблема должна быть исправлена к настоящему времени, и OP garfiny подтверждает в комментариях:

Я использовал самую новую spark-kubernetes jar чтобы заменить ее в пакете spark-2.3.0-bin-hadoop2.7. Исключено.

Ответ 2

Согласно указанной документации:

Управление зависимостями

Если ваши зависимости приложений все размещены в удаленных местах, таких как HDFS или HTTP-серверы, на них могут ссылаться соответствующие удаленные URI. Кроме того, зависимости приложений могут быть предварительно установлены в пользовательские изображения Docker. Эти зависимости могут быть добавлены в путь к классам путем ссылки на них с локальными //URI и/или установкой переменной среды SPARK_EXTRA_CLASSPATH в ваших файлах Docker. Локальная://схема также требуется при обращении к зависимостям в пользовательских изображениях Docker в spark-submit.

Обратите внимание, что использование зависимостей приложений от локальной файловой системы клиентов отправки пока не поддерживается.

Ответ 3

У меня такой же случай.

Я не знаю, что делать? Как исправить? Искры версии 2.3.0.

Скопировано и переименовано spark-kubernetes_2.11-2.3.1.jar → spark-kubernetes_2.11-2.3.0.jar.

Spark не находит соответствующие файлы кубернетов.

bin/spark-submit \
--master k8s://https://lubernetes:6443 \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.kubernetes.namespace=spark \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.image=gcr.io/cloud-solutions-images/spark:v2.3.0-gcs \
--conf spark.kubernetes.authenticate.submission.caCertFile=/var/run/secrets/kubernetes.io/serviceaccount/k8.crt \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \ 
local:///usr/spark-2.3.0/examples/jars/spark-examples_2.11-2.3.0.jar

Спасибо за помощь!