Ответ 1
Просто для публикации в качестве ответа - SparkContext можно получить из SparkSession, используя spark.sparkContext (без скобок)
Извлечь SparkContext из SparkSession
Я запускаю пакетное задание spark и использую SparkSession, так как мне нужно много функций spark-sql для обработки в каждом из моих компонентов.
SparkContext инициализируется в моем родительском компоненте и передается дочерним компонентам как SparkSession.
В одном из моих дочерних компонентов я хотел добавить еще две конфигурации к моему SparkContext. Следовательно, мне нужно извлечь SparkContext из SparkSession, остановить его и воссоздать SparkSession с дополнительной конфигурацией. Для этого, как я могу получить SparkContext из SparkSession?
Ответы
Ответ 2
Поле sparkContext больше не является общедоступным (я использую Spark 2.3.2), однако вы можете получить его, используя метод с тем же именем:
spark.sparkContext()
Это применимо только к Spark Java.