2.5 指 数 加 权 平 均 的 偏 差 修 正 （ Bias correction in exponentially weighted averages ）

当$\beta=0.98$时，指数加权平均结果如绿色曲线。但实际上真实曲线如紫色曲线

紫色曲线与绿色曲线的区别是，紫色曲线开始的时候相对较低一些。因为开始时设置$V_0=0$，所以初始值会相对小一些，直到后面受前面的影响渐渐变小，趋于正常

修正这种问题的方法是进行偏移校正（bias correction），即在每次计算完$V_t$后，对$V_t$进行下式处理：

$$\frac{V_t}{1-\beta^t}$$

刚开始的时候，$t$比较小，$(1-\beta^t)<1$,$V_t$被修正得更大一些，效果是把紫色曲线开始部分向上提升一些，与绿色曲线接近重合。随着$t$增大，$(1-\beta^t)\approx1$，$V_t$基本不变，紫色曲线与绿色曲线依然重合。实现了简单的偏移校正，得到希望的绿色曲线

机器学习中，偏移校正并不是必须的。因为，在迭代一次次数后（$t$较大），$V_t$受初始值影响微乎其微，紫色曲线与绿色曲线基本重合。一般可以忽略初始迭代过程，等到一定迭代之后再取值就不需要进行偏移校正