Spark: Как убить запущенный процесс без выхода из оболочки?

Как я могу убить запущенный процесс в оболочке Spark на моей локальной машине OSX без выхода?

Например, если я просто делаю простой .count() на RDD, это может занять некоторое время, а иногда я хочу его убить.

Однако, если я делаю Ctrl C, то он убивает всю оболочку.

Есть ли способ убить процесс, но не оболочку?

Ответы

Ответ 1

Вы можете использовать мастер-интерфейс для уничтожения или визуализации задания. Также вы найдете другие вещи, такие как файл журнала или рабочий график кластера...

Ответ 2

Взято из искровых документов:

Затем, если вы хотите убить приложение, которое терпит неудачу, вы можете сделать это через:
  ./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

Ссылка: http://spark.apache.org/docs/latest/spark-standalone.html