Я создал пакет jar из проекта этим файловым деревом:
build.sbt
src/main
src/main/scala
src/main/scala/Tester.scala
src/main/scala/main.scala
где Tester - это класс с помощью функции (name is print()), а main имеет объект для запуска, который печатает "Привет!". (из искрового документа) создал файл jar с помощью sbt успешно и хорошо работал в spark-submit
теперь я хочу добавить его в искровую оболочку и использовать класс Tester как класс для создания объектов и... Я добавил файл jar в spark-default.conf, но:
scala> val t = new Tester();
<console>:23: error: not found: type Tester
val t = new Tester();
вы можете попробовать его, как показано ниже, предоставив баны с аргументом ниже
./spark-shell --jars pathOfjarsWithCommaSeprated
Или вы можете добавить в свою конфигурацию следующую конфигурацию spark-defaults.conf, пожалуйста, убедитесь, что вы удаляете шаблон с конца искровых значений по умолчанию
spark.driver.extraClassPath pathOfJarsWithCommaSeprated