2.7 RMSprop( root mean square prop)
Last updated
Last updated
RMSprop是另外一种优化梯度下降速度的算法。每次迭代训练过程中,其权重和常数项的更新表达式为:
令水平方向为的方向,垂直方向为的方向
梯度下降(蓝色折线)在垂直方向()上振荡较大,在水平方向()上振荡较小,表示在方向上梯度较大,即较大,而在方向上梯度较小,即较小。因此,上述表达式中较大,而较小。在更新和的表达式中,变化值较大,而较小。也就使得变化得多一些,变化得少一些。即加快了方向的速度,减小了方向的速度,减小振荡,实现快速梯度下降算法,其梯度下降过程如绿色折线所示。总的来说,就是如果哪个方向振荡大,就减小该方向的更新速度,从而减小振荡
为了避免RMSprop算法中分母为零,通常可以在分母增加一个极小的常数:
,或者其它较小值