> For the complete documentation index, see [llms.txt](https://baozoulin.gitbook.io/neural-networks-and-deep-learning/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://baozoulin.gitbook.io/neural-networks-and-deep-learning/di-er-men-ke-gai-shan-shen-ceng-shen-jing-wang-luo-chao-can-shu-tiao-shi-zheng-ze-hua-yi-ji-you-hua/improving-deep-neural-networks/optimization-algorithms/25-zhi-shu-jia-quan-ping-jun-de-pian-cha-xiu-zheng-bias-correction-in-exponentially-weighted-average.md).

# 2.5 指 数 加 权 平 均 的 偏 差 修 正 （ Bias correction in exponentially weighted averages ）

当$$\beta=0.98$$时，指数加权平均结果如绿色曲线。但实际上真实曲线如紫色曲线

![](https://2314428465-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-Le0cHhI0S0DK8pwlrmD%2F-Le0cKOp1vaxoORIi4ak%2F-Le0cdLw0KGhM3yWF-3_%2F212Eimport.png?generation=1556953095663029\&alt=media)

紫色曲线与绿色曲线的区别是，紫色曲线开始的时候相对较低一些。因为开始时设置$$V\_0=0$$，所以初始值会相对小一些，直到后面受前面的影响渐渐变小，趋于正常

修正这种问题的方法是进行**偏移校正（bias correction）**，即在每次计算完$$V\_t$$后，对$$V\_t$$进行下式处理：

$$
\frac{V\_t}{1-\beta^t}
$$

刚开始的时候，$$t$$比较小，$$(1-\beta^t)<1$$,$$V\_t$$被修正得更大一些，效果是把紫色曲线开始部分向上提升一些，与绿色曲线接近重合。随着$$t$$增大，$$(1-\beta^t)\approx1$$，$$V\_t$$基本不变，紫色曲线与绿色曲线依然重合。实现了简单的偏移校正，得到希望的绿色曲线

机器学习中，偏移校正并不是必须的。因为，在迭代一次次数后（$$t$$较大），$$V\_t$$受初始值影响微乎其微，紫色曲线与绿色曲线基本重合。一般可以忽略初始迭代过程，等到一定迭代之后再取值就不需要进行偏移校正