LSTM的三个门都有什么作用
LSTM(长短期记忆网络)有三个门,它们分别是遗忘门(forget gate)、输入门(input gate)和输出门(output gate)。这些门控制了信息在LSTM中的流动,从而使LSTM能够学习长期依赖关系。
-
遗忘门(forget gate):遗忘门控制着LSTM中的记忆细胞(cell state)如何丢弃先前的信息。遗忘门接收前一时刻的记忆细胞和当前输入的信息,然后通过sigmoid函数输出一个0-1之间的值,表示需要保留多少先前的信息。当遗忘门输出1时,表示需要完全保留先前的信息;当遗忘门输出0时,表示需要完全遗忘先前的信息。
-
输入门(input gate):输入门决定了当前输入的信息如何被加入到记忆细胞中。输入门接收前一时刻的记忆细胞和当前输入的信息,然后通过sigmoid函数输出一个0-1之间的值,表示需要保留多少当前的信息。同时,输入门还会通过tanh函数输出一个-1到1之间的值,表示当前输入的信息应该被加入到记忆细胞中的哪些位置。
-
输出门(output gate):输出门控制着LSTM中的记忆细胞如何输出当前时刻的信息。输出门接收前一时刻的记忆细胞和当前输入的信息,然后通过sigmoid函数输出一个0-1之间的值,表示需要输出多少当前的信息。同时,输出门还会通过tanh函数输出一个-1到1之间的值,表示当前时刻应该输出哪些信息
原文地址: https://www.cveoy.top/t/topic/giU6 著作权归作者所有。请勿转载和采集!