长短期记忆

长短期记忆网络(LSTM)和其他递归神经网络中的神经元有以下三个不同点：

它可以决定何时让输入进入神经元

它可以决定何时记住上一个时间步中计算的内容

它可以决定何时让输出传递到下一个时间戳LSTM的强大之处在于它可以只基于当前的输入就决定上述所有。请看下方的表：

当前时间戳的输入信号x(t)决定了上述三点。

输入门(input gate)决定了点，

遗忘门(forget gate)决定了第二点，

输出门(output gate)决定了第三点。只依赖输入就可以完成这三项决定。这是受到大脑工作机制的启发，大脑可以基于输入来处理突然的上下文语境切换。