С использованием scala 2.12 с искрами 2.1

В Spark 2.1 docs он упомянул, что

Spark работает на Java 7+, Python 2.6 +/3.4 + и R 3.1+. Для API Scala Spark 2.1.0 использует Scala 2.11. Вам понадобится использовать совместимую версию Scala (2.11.x).

в Scala 2.12 релиз новости он также отметил, что:

Хотя Scala 2.11 и 2.12 в основном совместимы с исходными кодами для облегчения кросс-построения, они не совместимы с бинарными. Это позволяет нам продолжать улучшать компилятор Scala и стандартную библиотеку.

Но когда я строю uber jar (используя Scala 2.12) и запускаю его на искру 2.1. все отлично работает.

и я знаю, что это не официальный источник, а 47-процентный блог, они упомянули, что искра 2.1 поддерживает Scala 2.12.

как можно объяснить эти (конфликты?) мир информации?

Ответы

Ответ 1

Spark не поддерживает Scala 2.12. Вы можете следить за SPARK-14220 (создать и протестировать Spark против Scala 2.12), чтобы получить обновленный статус.

Ответ 2

Чтобы добавить к ответу, я считаю, что это опечатка https://spark.apache.org/releases/spark-release-2-0-0.html не упоминает scala 2.12.

Кроме того, если мы посмотрим на тайминги scala 2.12 не был выпущен до ноября 2016 года, а Spark 2.0.0 был выпущен в июле 2016 года.

Литература: https://spark.apache.org/news/index.html