2.8 Adam 优化算法(Adam optimization algorithm)

Adam(Adaptive Moment Estimation)算法结合了动量梯度下降算法和RMSprop算法。其算法流程为:

Adam算法结合了动量梯度下降和RMSprop各自的优点,使得神经网络训练速度大大提高

Last updated