2.5 指 数 加 权 平 均 的 偏 差 修 正 ( Bias correction in exponentially weighted averages )
Previous2.4 理解指数加权平均数(Understanding exponentially weighted averages )Next2.6 动量梯度下降法(Gradient descent with Momentum )
Last updated
Last updated
当时,指数加权平均结果如绿色曲线。但实际上真实曲线如紫色曲线
紫色曲线与绿色曲线的区别是,紫色曲线开始的时候相对较低一些。因为开始时设置,所以初始值会相对小一些,直到后面受前面的影响渐渐变小,趋于正常
修正这种问题的方法是进行偏移校正(bias correction),即在每次计算完后,对进行下式处理:
刚开始的时候,比较小,,被修正得更大一些,效果是把紫色曲线开始部分向上提升一些,与绿色曲线接近重合。随着增大,,基本不变,紫色曲线与绿色曲线依然重合。实现了简单的偏移校正,得到希望的绿色曲线
机器学习中,偏移校正并不是必须的。因为,在迭代一次次数后(较大),受初始值影响微乎其微,紫色曲线与绿色曲线基本重合。一般可以忽略初始迭代过程,等到一定迭代之后再取值就不需要进行偏移校正