3.5 将 Batch Norm 拟合进神经网络(Fitting Batch Norm into a neural network)

前向传播的计算流程:

实现梯度下降:

for t = 1 … num (这里num 为Mini Batch 的数量):

  • 更新参数:

经过Batch Norm的作用,整体流程如下:

除了传统的梯度下降算法之外,还可以使用动量梯度下降、RMSprop或者Adam等优化算法

Last updated