# 4.2 前向传播和反向传播（Forward and backward propagation）

## 正向传播过程

$$
z^{\[l]}=W^{\[l]}a^{\[l-1]}+b^{\[l]}
$$

$$
a^{\[l]}=g^{\[l]}(z^{\[l]})
$$

$$m$$个训练样本，向量化形式为：

$$
Z^{\[l]}=W^{\[l]}A^{\[l-1]}+b^{\[l]}
$$

$$
A^{\[l]}=g^{\[l]}(Z^{\[l]})
$$

## 反向传播过程

$$
dz^{\[l]}=da^{\[l]}\ast g^{\[l]'}(z^{\[l]})
$$

$$
dW^{\[l]}=dz^{\[l]}\cdot {a^{\[l-1]}}^T
$$

$$
db^{\[l]}=dz^{\[l]}
$$

$$
da^{\[l-1]}=W^{\[l]T}\cdot dz^{\[l]}
$$

得到：

$$
dz^{\[l]}=W^{\[l+1]T}\cdot dz^{\[l+1]}\ast g^{\[l]'}(z^{\[l]})
$$

$$m$$个训练样本，向量化形式为：

$$
dZ^{\[l]}=dA^{\[l]}\ast g^{\[l]'}(Z^{\[l]})
$$

$$
dW^{\[l]}=\frac1mdZ^{\[l]}\cdot A^{\[l-1]T}
$$

$$
db^{\[l]}=\frac1mnp.sum(dZ^{\[l]},axis=1,keepdim=True)
$$

$$
dA^{\[l-1]}=W^{\[l]T}\cdot dZ^{\[l]}
$$

$$
dZ^{\[l]}=W^{\[l+1]T}\cdot dZ^{\[l+1]}\ast g^{\[l]'}(Z^{\[l]})
$$

![](https://2314428465-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-Le0cHhI0S0DK8pwlrmD%2F-Le0cKOp1vaxoORIi4ak%2F-Le0cdOaU55-K_SUCzPo%2F3import.png?generation=1556953096367023\&alt=media)