> For the complete documentation index, see [llms.txt](https://baozoulin.gitbook.io/neural-networks-and-deep-learning/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://baozoulin.gitbook.io/neural-networks-and-deep-learning/di-wu-men-ke-xu-lie-mo-xing-sequence-models/di-wu-men-kexulie-mo-578b28-sequence-models/recurrent-neural-networks/112-shen-ceng-xun-huan-shen-jing-wang-luo-ff08-deep-rnns.md).

# 1.12 深层循环神经网络（Deep RNNs）

[![](https://github.com/fengdu78/deeplearning_ai_books/raw/master/images/8378c2bfe73e1ac9f85d6aa79b71b5eb.png)](https://github.com/fengdu78/deeplearning_ai_books/blob/master/images/8378c2bfe73e1ac9f85d6aa79b71b5eb.png)

$$a^{\lbrack l\rbrack }$$表示第$$l$$层的激活值，\<t>表示第$$t$$个时间点

激活值$$a^{\[l]<t>}$$有两个输入:

$$
a^{\[l]<t>}=g(W\_a^{\[l]}\[a^{\[l]<t-1>},a^{\[l-1]<t>}]+b\_a^{\[l]})
$$

对于**RNN**来说，有三层就已经不少了。由于时间的维度，**RNN**网络会变得相当大，即使只有很少的几层

另外一种Deep RNNs结构是每个输出层上还有一些垂直单元：

[![](https://github.com/fengdu78/deeplearning_ai_books/raw/master/images/455863a3c8c2dfaa0e5474bfa2c6824d.png)](https://github.com/fengdu78/deeplearning_ai_books/blob/master/images/455863a3c8c2dfaa0e5474bfa2c6824d.png)

即把输出去掉（编号1），在每一个上面堆叠循环层，然后换成一些深的层，这些层并不水平连接，只是一个深层的网络，然后用来预测$$y^{<t>}$$

这些单元（编号3）没必要是标准的**RNN**，也可以是**GRU**单元或者**LSTM**单元，也可以构建深层的双向**RNN**网络，但深层的**RNN**训练需要很多计算资源，需要很长的时间