1.9 GRU单元(Gated Recurrent Unit(GRU))
门控循环单元:改变了RNN的隐藏层,使其可以更好地捕捉深层连接,并改善了梯度消失问题
简化的GRU模型
RNN隐藏层的单元的可视化:
为了解决梯度消失问题,对上述单元进行修改,添加了记忆单元,构建GRU,如下图所示:
表达式为:
完整的GRU
Previous1.8 循环神经网络的梯度消失(Vanishing gradients with RNNs)Next1.10 长短期记忆(LSTM(long short term memory)unit)
Last updated