Last updated 5 years ago
Back Propagation神经网络有一项重要的测试是梯度检验(gradient checking)。其目的是检查验证反向传播过程中梯度下降算法是否正确。
对于一个非零的ε\varepsilonε,它的逼近误差可以写成O(ε2)O(\varepsilon^2)O(ε2),ε\varepsilonε值非常小,大写符号OOO的含义是指逼近误差
函数fff在点θ\thetaθ处的梯度可以表示成:
ε>0\varepsilon>0ε>0,且足够小