正向传播过程
z[l]=W[l]a[l−1]+b[l] a[l]=g[l](z[l]) m个训练样本,向量化形式为:
Z[l]=W[l]A[l−1]+b[l] A[l]=g[l](Z[l]) 反向传播过程
dz[l]=da[l]∗g[l]′(z[l]) dW[l]=dz[l]⋅a[l−1]T db[l]=dz[l] da[l−1]=W[l]T⋅dz[l] 得到:
dz[l]=W[l+1]T⋅dz[l+1]∗g[l]′(z[l]) m个训练样本,向量化形式为:
dZ[l]=dA[l]∗g[l]′(Z[l]) dW[l]=m1dZ[l]⋅A[l−1]T db[l]=m1np.sum(dZ[l],axis=1,keepdim=True) dA[l−1]=W[l]T⋅dZ[l] dZ[l]=W[l+1]T⋅dZ[l+1]∗g[l]′(Z[l]) 