1.9 GRU单元(Gated Recurrent Unit(GRU))

门控循环单元:改变了RNN的隐藏层,使其可以更好地捕捉深层连接,并改善了梯度消失问题

简化的GRU模型

RNN隐藏层的单元的可视化:

为了解决梯度消失问题,对上述单元进行修改,添加了记忆单元,构建GRU,如下图所示:

表达式为:

完整的GRU

Last updated