3.7 激活函数的导数（Derivatives of activation functions ）

$sigmoid$函数的导数：

$$g(z)=\frac{1}{1+e^{(-z)}}$$

$$g'(z)=\frac{d}{dz}g(z)=g(z)(1-g(z))=a(1-a)$$

$tanh$函数的导数：

$$g(z)=\frac{e^{(z)}-e^{(-z)}}{e^{(z)}+e^{(-z)}}$$

$$g'(z)=\frac{d}{dz}g(z)=1-(g(z))^2=1-a^2$$

$ReLU$函数的导数：

$$g(z)=max(0,z)$$

$$x = \begin{cases} 0 &\text{if } z < 0 \\ 1 &\text{if } z \geq 0 \end{cases}$$

$Leaky ReLU$函数：

$$g(z)=max(0.01z,z)$$

$$g'(z) = \begin{cases} 0.01 &\text{if } z < 0 \\ 1 &\text{if } z \geq 0 \end{cases}$$