LSTM 详解：门控单元、细胞状态和长期记忆

LSTM 层通常有四个子层：输入门 (input gate)、遗忘门 (forget gate)、输出门 (output gate) 和细胞状态 (cell state)。LSTM 通过引入三个门控单元来控制信息的流动，分别是输入门、遗忘门、输出门，从而实现长期记忆和短期记忆的平衡。输入门和遗忘门可以控制输入和遗忘信息的流动，输出门则可以控制输出信息的流动。LSTM 引入细胞状态来存储长期记忆信息。LSTM 层的参数数量取决于输入和输出的维度以及 LSTM 单元的数量。

1、输入门：用于更新细胞状态。先将前一层隐藏状态的信息和当前输入的信息传递到 sigmoid 函数中去。将值调整到 0~1 之间来决定更新哪些信息。0 表示不重要，1 表示重要。其次要将前一层隐藏状态的信息和当前输入的信息传到 tanh 函数，创造新的候选值向量。最后将 sigmoid 的输出值与 tanh 的输出值相乘，sigmoid 的输出值将决定 tanh 的输出值中哪些信息是重要且需要保留下来的。

2、遗忘门：用于控制哪些信息需要被遗忘。将前一层隐藏状态的信息和当前输入的信息传递到 sigmoid 函数，将值调整到 0~1 之间来决定哪些信息需要被遗忘。0 表示完全遗忘，1 表示完全保留。然后将前一层隐藏状态的信息和当前输入的信息传到 tanh 函数，创造新的候选值向量。最后将 sigmoid 的输出值与前一层细胞状态相乘，sigmoid 的输出值将决定哪些信息需要被遗忘，哪些信息需要保留。

3、输出门：用于控制输出信息。将前一层隐藏状态的信息和当前输入的信息传递到 sigmoid 函数，将值调整到 0~1 之间来决定哪些信息需要输出。0 表示完全不输出，1 表示完全输出。然后将前一层隐藏状态的信息和当前输入的信息传到 tanh 函数，创造新的候选值向量。最后将 sigmoid 的输出值与 tanh 的输出值相乘，sigmoid 的输出值将决定哪些信息需要输出，哪些信息不需要输出。

4、细胞状态：用于存储长期记忆信息。细胞状态是 LSTM 层的核心，用于存储和传递长期的信息。细胞状态可以通过遗忘门和输入门的控制来更新和保留信息。它可以看作是 LSTM 层的内存单元，可以存储和传递信息，从而实现长期记忆。