Вручную вызывать сбор мусора из pyspark

Я выполнял рабочий процесс на некоторых 3 миллионах записей по 15 столбцов на всех строках на моем 4-ядерном 16-гигабайтном компьютере, используя pyspark 1.5 в локальном режиме. Я заметил, что если я снова запустил тот же рабочий процесс, не перезапустив искру, память закончится, и я получаю Out of Memory Exceptions.

Поскольку все мои тайники суммируются примерно до 1 ГБ, я думал, что проблема кроется в сборке мусора. Мне удалось запустить сборщик мусора python вручную, вызвав:

import gc
collected = gc.collect()
print "Garbage collector: collected %d objects." % collected

Это немного помогло.

Я играл с настройками искрового GC в соответствии с этой статьей, и попытался сжать RDD и сменить сериализатор на Kyro, Это замедлило обработку и мало помогло с памятью.

Поскольку я точно знаю, когда у меня есть запасные циклы процессора для вызова GC, это может помочь моей ситуации узнать, как называть это вручную в JVM.

Ответы

spark.sparkContext._jvm.System.gc()