1.12 梯度的数值逼近（Numerical approximation of gradients）

Back Propagation神经网络有一项重要的测试是梯度检验（gradient checking）。其目的是检查验证反向传播过程中梯度下降算法是否正确。

对于一个非零的$\varepsilon$，它的逼近误差可以写成$O(\varepsilon^2)$，$\varepsilon$值非常小，大写符号$O$的含义是指逼近误差

函数$f$在点$\theta$处的梯度可以表示成：

$$g(\theta)=\frac{f(\theta+\varepsilon)-f(\theta-\varepsilon)}{2\varepsilon}$$

$\varepsilon>0$，且足够小