1.12 梯度的数值逼近（Numerical approximation of gradients）

Back Propagation神经网络有一项重要的测试是梯度检验（gradient checking）。其目的是检查验证反向传播过程中梯度下降算法是否正确。

对于一个非零的 $\varepsilon$ ，它的逼近误差可以写成 $O(\varepsilon^2)$ ， $\varepsilon$ 值非常小，大写符号 $O$ 的含义是指逼近误差

函数 $f$ 在点 $\theta$ 处的梯度可以表示成：

g(\theta)=\frac{f(\theta+\varepsilon)-f(\theta-\varepsilon)}{2\varepsilon}

$\varepsilon>0$ ，且足够小

Last updated 5 years ago

对于一个非零的 $\varepsilon$ ，它的逼近误差可以写成 $O(\varepsilon^2)$ ， $\varepsilon$ 值非常小，大写符号 $O$ 的含义是指逼近误差

函数 $f$ 在点 $\theta$ 处的梯度可以表示成：

g(\theta)=\frac{f(\theta+\varepsilon)-f(\theta-\varepsilon)}{2\varepsilon}

$\varepsilon>0$ ，且足够小