1.4 通过时间的反向传播(Backpropagation through time)
反向传播计算方向与前向传播基本上是相反:
识别人名的例子,经过RNN正向传播,单个元素的Loss function为:
这是 binary classification 的 Loss Function,注意与1.6 的softmax Loss Function区别
该样本所有元素的Loss function为:
RNN反向传播示意图:
Last updated
反向传播计算方向与前向传播基本上是相反:
识别人名的例子,经过RNN正向传播,单个元素的Loss function为:
这是 binary classification 的 Loss Function,注意与1.6 的softmax Loss Function区别
该样本所有元素的Loss function为:
RNN反向传播示意图:
Last updated
反向传播(Backpropagation)过程就是从右到左分别计算对参数,,,的偏导数,这种从右到左的求导过程被称为Backpropagation through time