3.5 将 Batch Norm 拟合进神经网络(Fitting Batch Norm into a neural network)
前向传播的计算流程:
实现梯度下降:
for t = 1 … num (这里num 为Mini Batch 的数量):
更新参数:
经过Batch Norm的作用,整体流程如下:
除了传统的梯度下降算法之外,还可以使用动量梯度下降、RMSprop或者Adam等优化算法
Previous3.4 归一化网络的激活函数( Normalizing activations in a network)Next3.6 Batch Norm 为什么奏效?(Why does Batch Norm work?)
Last updated