Matplotlib и Pyplot.close() не освобождают память? - связанный с базой данных Qt4Agg

РЕДАКТИРОВАТЬ: Если я эксплицирую изменение бэкэнда для matplotlib от "Qt4Agg" до "Agg", то я могу запустить свой код без ошибок. Я предполагаю, что это ошибка в бэкэнд?

Я пишу некоторый код для обработки довольно большого количества данных автоматически. Код прежде всего анализирует мои файлы данных и сохраняет все соответствующие биты. Затем у меня есть разные функции для создания каждого из графиков, которые мне нужны (всего около 25). Тем не менее, я все время сталкиваюсь с какой-то ошибкой памяти, и я думаю, что это потому, что Matplotlib/PyPlot не освобождают память правильно.

Каждая функция построения заканчивается командой pyplot.close(fig), и поскольку я просто хочу сохранить графики и не смотреть на них сразу, они не включают pyplot.show().

Если я запускаю функции построения в отдельности в интерпретаторе, то никаких проблем не возникает. Однако, если я создаю отдельную функцию, которая по очереди вызывает каждую функцию построения графика, я запускаю "MemoryError: не могу выделить память для пути".

Это то, что типичная функция plot выглядит в моем коде:

Тогда я не получаю никаких ошибок. То же самое верно для всех моих функций графика.

Если я создаю новую функцию, которая делает это:

Затем он проходит примерно половину графиков, а затем я получаю "MemoryError: не удалось выделить память для пути".

Ответы

Ответ 1

Я думаю, что причина, по которой это происходит, состоит в том, что, поскольку она проходит через все разные графики, у нее тогда заканчивается память, потому что она не освобождает ее должным образом.

Почему бы вам не попробовать создать около 3 или около того программ, каждая из которых выполняет несколько графиков вместо одной программы, выполняющей все графики:

Программа 1: Графики 1-8

Программа 2: Графики 9-16

Программа 3: Графики 17-25

Надеюсь, это поможет @FakeDIY:)

Ответ 2

Я сталкиваюсь с очень похожими проблемами один раз. Я предполагаю, что matplotlib хранит ссылки для каждого участка внутри. Учитывая следующий код, создайте три отдельные цифры:

import matplotlib.pyplot as plt
import numpy as np

# block 1
f, ax = plt.subplots(1)
plt.plot(np.arange(10), np.random.random(10))
plt.title("first")
print 'first', sys.getrefcount(f), sys.getrefcount(ax)

# bock 2
f, ax = plt.subplots(1)
plt.plot(np.arange(10), np.random.random(10)+1)
plt.title("second")
print 'second', sys.getrefcount(f), sys.getrefcount(ax)

# block 3
f, ax = plt.subplots(1)
plt.plot(np.arange(10), np.random.random(10)+2)
plt.title("third")
print 'third', sys.getrefcount(f), sys.getrefcount(ax)

plt.show()

print 'after show', sys.getrefcount(f), sys.getrefcount(ax)

Вывод:

first 69 26
second 69 26
third 69 26
after show 147 39

Это счетчик интуитивно понятен, потому что мы несколько раз определяли f и ax. С каждым блоком мы создали новую цифру, на которую можно ссылаться через plt. Создание другой фигуры изменяет самые верхние ссылки, доступные с помощью plt. Но должна быть какая-то внутренняя ссылка, которая позволяет plt.show() показывать все цифры. Эти ссылки кажутся постоянными, и, следовательно, цифры не будут собираться gc.

Обходной путь, с которым я согласился, менял данные сюжета. В ретроспективе это был лучший подход:

plt.ion()
f, ax = plt.subplots(1)
line = ax.plot(np.arange(10), np.random.random(10))[0]
plt.title('first')
plt.show()

for i, s in [(2, 'second'), (3, 'third')]:
    x = np.arange(10)
    y = np.random.random(10)+i
    line.set_data(x, y)
    ax.set_xlim(np.min(x), np.max(x))
    ax.set_ylim(np.min(y), np.max(y))
    plt.title(s)
    plt.draw()
    raw_input(s)

Единственным недостатком является то, что вы должны оставить окно с открытой фигурой. И без raw_input программа будет просто запускаться через