Существует много ядер Scala/Spark для IPython/Jupyter:
Кто-нибудь знает, какой из них наиболее совместим с IPython/Jupyter и наиболее удобен в использовании:
Я не могу говорить для всех из них, но я использую Ядро искры, и он отлично работает для использования как Scala, так и Spark.
Я нашел IScala и Jupyter Scala менее стабильным и менее полированным. Jupyter Scala всегда печатает каждое значение переменной после выполнения ячейки; Я не хочу видеть это в 99% случаев.
Ядро искры - мой любимый. И для Spark, и для обычного старого Scala.
Ядро искры было принято в Apache Incubator и переместило всю разработку в Apache Toree a > .
Я использую искровое ядро (ваш вариант №4) и вполне удовлетворен.
Здесь вы можете найти хорошую практическую установку (CDH 5.5 на CentOS 7) (я сам использовал ее для установки в Single node в псевдораспределенном режиме).