Liquid State Machine: как это работает и как его использовать?

Теперь я узнаю о LSM (Liquid State Machines), и я стараюсь понять, как они используются для обучения.

Я довольно смущен тем, что я прочитал через Интернет.

Я напишу, что я понял → Это может быть неверно, и я буду рад, если вы сможете исправить меня и объяснить, что верно:

  • LSM не обучены вообще: они просто инициализируются многими "временными нейронами" (например, Leaky Integrate и Fire нейроны), а их пороговые значения выбираются случайным образом, и поэтому связи между ними (т.е. не каждый нейрон должен иметь общий край с каждым из других нейронов).

  • Если вы хотите "узнать", что x единицы времени после ввода I, возникает событие Y, вам нужно "ждать" x единиц времени с помощью детекторов LIF и посмотреть, какие нейроны запускаются в этот конкретный момент. Затем вы можете обучить классификатор (например, FeedForward Network), что это конкретное подмножество активирующих нейронов означает, что произошло событие Y.

  • Вы можете использовать много "временных нейронов" в своей "жидкости", поэтому у вас может быть много разных подмножеств стреляющих нейронов, поэтому конкретный поднабор стреляющих нейронов становится почти уникальным на тот момент, когда вы ждали x, после ввода вашего ввода I

Я не знаю, истинно ли то, что я написал выше, или это полный мусор.

Скажите, пожалуйста, если это правильное использование и цели LIF.

Ответы

Ответ 1

Из ваших вопросов, кажется, вы на правильном пути. Во всяком случае, машина Liquid State Machine и машина Echo State - это сложные темы, посвященные вычислительной нейробиологии и физике, такие темы, как хаос, динамическая система действий, система обратной связи и машинное обучение. Так что это нормально, если вы чувствуете, что его трудно обернуть вокруг него.

Чтобы ответить на ваши вопросы:

  • Большинство реализаций жидкостных гоночных машин с использованием резервуара нейронов нетренированы. Есть некоторые попытки обучить резервуар, но они не имели драматического успеха, который стоил вычислительной мощности, необходимой для этой цели. (См. Подходы к вычислению коллектора для повторного обучения нейронной сети http://www.sciencedirect.com/science/article/pii/S1574013709000173) или (Правило обучения p-Delta для параллельных перцептронов http://www.igi.tugraz.at/psfiles/pdelta-journal.pdf)

    Мое мнение таково, что если вы хотите использовать Liquid как классификатор в терминах разделимости или обобщения шаблона, вы можете получить гораздо больше от того, как нейроны соединяются между собой (см. Hazan, H. and Manevitz, L., Топологические ограничения и надежность в жидкокристаллических машинах, экспертные системы с приложениями, том 39, выпуск 2, стр. 1597-1606, http://dx.doi.org/10.1016/j.eswa.2011.06.052, февраль 2012 г.) или (какая модель для Использовать для машины жидкого состояния? http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5178822) Биологический подход (на мой взгляд, самый интересный) (Что может помочь нейрону с учетом пластичности, зависящей от спайка? Www.mitpressjournals.org/doi/abs/10.1162/0899766054796888)
  • Вы правы, вам нужно подождать, по крайней мере, до тех пор, пока вы не закончите подавать входные данные. В противном случае вы рискуете обнаружить свой вход, а не активность, которая возникает в результате вашего ввода, как и должно быть.
  • Да, вы можете себе представить, что ваша жидкая сложность - это ядро ​​в SVM, которое пытается проецировать точки данных на какое-то гиперпространство, а детектор в жидкости - как часть, которая пытается разделить между классами в наборе данных. Как правило большого пальца, число нейронов и то, как они соединяются между собой, определяют степень сложности жидкости.

О LIF (Leaky Integrate & Fire нейроны), как я вижу (я мог ошибаться), большая разница между двумя подходами - это отдельная единица. В жидкостном аппарате используют биологические, как нейроны, и в состоянии эха используют больше аналоговых единиц. Таким образом, в терминах "очень кратковременной памяти" жидкое состояние подходит к каждому отдельному нейрону, запоминающему свою собственную историю, где в режиме Эхо-состояния каждый отдельный нейрон реагирует только на текущее состояние, там для памяти, хранящейся в активности между единицами.

Ответ 2

Чтобы понять LSM, вы должны понимать сравнение с Liquid. Обратите внимание на следующее изображение:

  • Вы случайно бросаете камни в воду. В зависимости от типа из камней, которые вы выбросили в воду, есть еще одна волна шаблон после x временных меток.
  • Относительно этого волнового шаблона вы можете выводы об особенностях различных камней
  • Из этого шаблона вы можете узнать, какие камни вы бросили.

LSM моделирует это поведение:

  • Входной слой, который случайно связан с резервуаром нейронов. Возьмите его как камни, которые вы бросаете в воду.

  • Резервуар случайно связанных нейронов. Они представляют вашу воду, которая взаимодействует с вашими камнями определенным образом.

    • В терминах LSM у нас есть специальные нейроны (они пытаются моделировать настоящие нейроны). Они добавляют активацию по таймаутам и срабатывают только при достижении определенного уровня активации, кроме того, применяется кулдаун-фактор, представляющий натриевые калийные насосы в головном мозге.
    • После того, как x timesteps, в это время у вас будет образец нейронов.

  • Выходной уровень, который интерпретирует этот шаблон и использует его для классификации.