Прогнозирование временных рядов Pybrain с использованием рекуррентных сетей LSTM

Ответ 1

Вы можете обучить сеть LSTM одним входом node и одним выходом node для прогнозирования временных рядов следующим образом:

Во-первых, как хорошая практика, используйте функцию печати Python3:

from __future__ import print_function

Затем сделайте простой временной ряд:

data = [1] * 3 + [2] * 3
data *= 3
print(data)

[1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2]

Теперь поместите эти временные ряды в контролируемый набор данных, где целью для каждого образца является следующий образец:

from pybrain.datasets import SequentialDataSet
from itertools import cycle

ds = SequentialDataSet(1, 1)
for sample, next_sample in zip(data, cycle(data[1:])):
    ds.addSample(sample, next_sample)

Создайте простую сеть LSTM с 1 входным node, 5 ячейками LSTM и 1 выходом node:

from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure.modules import LSTMLayer

net = buildNetwork(1, 5, 1, 
                   hiddenclass=LSTMLayer, outputbias=False, recurrent=True)

Настройте сеть:

from pybrain.supervised import RPropMinusTrainer
from sys import stdout

trainer = RPropMinusTrainer(net, dataset=ds)
train_errors = [] # save errors for plotting later
EPOCHS_PER_CYCLE = 5
CYCLES = 100
EPOCHS = EPOCHS_PER_CYCLE * CYCLES
for i in xrange(CYCLES):
    trainer.trainEpochs(EPOCHS_PER_CYCLE)
    train_errors.append(trainer.testOnData())
    epoch = (i+1) * EPOCHS_PER_CYCLE
    print("\r epoch {}/{}".format(epoch, EPOCHS), end="")
    stdout.flush()

print()
print("final error =", train_errors[-1])

Заплатите ошибки (обратите внимание, что в этом простом примере игрушек мы тестируем и обучаем на одном наборе данных, что, конечно же, не то, что вы сделали бы для реального проекта!):

import matplotlib.pyplot as plt

plt.plot(range(0, EPOCHS, EPOCHS_PER_CYCLE), train_errors)
plt.xlabel('epoch')
plt.ylabel('error')
plt.show()

Теперь попросите сеть предсказать следующий образец:

for sample, target in ds.getSequenceIterator(0):
    print("               sample = %4.1f" % sample)
    print("predicted next sample = %4.1f" % net.activate(sample))
    print("   actual next sample = %4.1f" % target)
    print()

(приведенный выше код основан на example_rnn.py и примерах из документации PyBrain)

Ответ 2

Я думаю, что лучший (более простой/понятный) пример, чтобы узнать, будет здесь, в нижней части страницы:

http://pybrain.org/docs/tutorial/netmodcon.html

По существу, после настройки, как показано, он автоматически отслеживает историю прошлых событий (до тех пор, пока вы не нажмете reset). Из документов:

http://pybrain.org/docs/api/structure/networks.html?highlight=recurrentnetwork#pybrain.structure.networks.RecurrentNetwork

"Пока не вызывается .reset(), сеть отслеживает все предыдущие входы и, таким образом, позволяет использовать повторяющиеся соединения и слои, которые оглядываются назад."

Итак, нет необходимости повторно представлять все прошлые входы в сеть каждый раз.

Ответ 3

Я тестировал LSTM, предсказывающий некоторую временную последовательность с Theano. Я обнаружил, что для некоторой гладкой кривой это можно предсказать правильно. Однако для некоторой зигзагообразной кривой. Трудно предсказать. Подробная статья: Предсказывать временную последовательность с LSTM

Прогнозируемый результат можно показать следующим образом: http://www.fuzihao.org/blog/images/LSTM_predict.png