4.2 前向传播和反向传播（Forward and backward propagation）

正向传播过程

$$z^{[l]}=W^{[l]}a^{[l-1]}+b^{[l]}$$

$$a^{[l]}=g^{[l]}(z^{[l]})$$

$m$个训练样本，向量化形式为：

$$Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]}$$

$$A^{[l]}=g^{[l]}(Z^{[l]})$$

反向传播过程

$$dz^{[l]}=da^{[l]}\ast g^{[l]'}(z^{[l]})$$

$$dW^{[l]}=dz^{[l]}\cdot {a^{[l-1]}}^T$$

$$db^{[l]}=dz^{[l]}$$

$$da^{[l-1]}=W^{[l]T}\cdot dz^{[l]}$$

得到：

$$dz^{[l]}=W^{[l+1]T}\cdot dz^{[l+1]}\ast g^{[l]'}(z^{[l]})$$

$m$个训练样本，向量化形式为：

$$dZ^{[l]}=dA^{[l]}\ast g^{[l]'}(Z^{[l]})$$

$$dW^{[l]}=\frac1mdZ^{[l]}\cdot A^{[l-1]T}$$

$$db^{[l]}=\frac1mnp.sum(dZ^{[l]},axis=1,keepdim=True)$$

$$dA^{[l-1]}=W^{[l]T}\cdot dZ^{[l]}$$

$$dZ^{[l]}=W^{[l+1]T}\cdot dZ^{[l+1]}\ast g^{[l]'}(Z^{[l]})$$