Keras: разница между выбыванием LSTM и повторным выбыванием LSTM

Из документации Keras:

dropout: Float между 0 и 1. Фракция единиц для падения для линейного преобразования входов.

recurrent_dropout: Float между 0 и 1. Фракция единиц для падения для линейного преобразования рекуррентного состояния.

Может ли кто-нибудь указать, где на изображении ниже каждого выпадения происходит?

enter image description here

Ответы

Ответ 1

Я предлагаю взглянуть на (первую часть) эту статью. Регулярное выпадение применяется к входам и/или выходам, что означает вертикальные стрелки от x_t и до h_t. В вашем случае, если вы добавите его в качестве аргумента в ваш слой, он замаскирует входные данные; Вы можете добавить слой Dropout после вашего повторяющегося слоя, чтобы также маскировать результаты. Повторяющиеся выпадающие маски (или "отбрасывание") связей между повторяющимися единицами; это будут горизонтальные стрелки на вашей картинке.

Эта фотография взята из статьи выше. Слева, регулярное выпадение на входах и выходах. Справа: регулярное выпадение ПЛЮС повторяющееся отсев:

This picture is taken from the paper above. On the left, regular dropout on inputs and outputs. On the right, regular dropout PLUS recurrent dropout.

(В этом случае не обращайте внимания на цвет стрелок; в статье они подчеркивают необходимость сохранения одинаковых масок выпадения на каждом временном шаге)