3.8注意力模型(Attention Model)

注意力模型让一个神经网络只注意到一部分的输入句子。当它在生成句子的时候,更像人类翻译

假定有一个输入句子,并使用双向的RNN,或者双向的GRU或者双向的LSTM,去计算每个词的特征:

建立一个简单的神经网络

注意力模型在图像捕捉方面也有应用。比如图片加标题(image captioning),即看一张图,写下这张图的标题

Attention model还能处理日期标准化的问题(the date normalization problem):

训练一个神经网络,输入任何形式的日期,生成标准化的日期形式

还有可视化的注意力权重(the visualizations of the attention weights)。颜色越白表示注意力权重越大,颜色越深表示权重越小。输出语句单词与其输入语句单词对应位置的注意力权重较大,即对角线附近

Last updated