4.2 LSTM

4.2.1 概述

为了缓解RNN梯度消失或者梯度爆炸的问题，Hochreiter和Schmidhuber于1997年提出了长短期记忆网络（Long Short-Term Memory, LSTM）。

4.2.2 基础结构

各部分具体说明如下：

• 记忆单元（Memory Cell）

• 遗忘门（Forget Gate）

遗忘门决定当前时间步要忘记多少过去的记忆。

例如在上一节的输入法智能提示案例中，假如历史输入为：“小帅是一名程序员，他每天都加班；”，然后当前时间步的输入为“小美”，意味着当前的主语变为了“小美”，后续应该生成和“小美”相关的内容，所以此时记忆单元就应该忘记之前的主语信息“小帅”。

遗忘门的计算公式为：

• 输入门（Input Gate）

输入门控制要从当前时间步的输入向记忆单元存入多少新的信息。例如上述案例中，当前时间步的输入为“小美”，所以此时记忆单元就应该存入新的主语信息“小美”。

当前时间步的信息计算公式为：

输入门的计算公式为：

综上所述可以得到记忆单元更新的完整公式为：

• 输出门（Output Gate）

输出门控制从记忆单元中读取多少信息作为当前时间步的隐藏状态进行输出。例如上述输入法智能提示案例中，记忆单元中存入新主语信息“小美”之后，当前时间步就应该从记忆单元中提取该主语信息，生成与“小美”相关的内容。

输出门的计算公式为：

当前时间步输出的隐藏状态计算公式为：

LSTM的完整结构如下图所示

思考题：LSTM为何能缓解梯度消失和梯度爆炸？

LSTM的计算图如下：