1.6 dropout 正则化(Dropout Regularization)

Dropout是指在深度学习网络的训练过程中,对于每层的神经元,按照一定的概率将其暂时从网络中丢弃。即每次训练时,每一层都有部分神经元不工作,起到简化复杂网络模型的效果,从而避免发生过拟合

Inverted dropout(反向随机失活)

生成dropout vector:

dl = np.random.rand(al.shape[0],al.shape[1])<keep_prob
al = np.multiply(al,dl)
al /= keep_prob

使用dropout训练结束后,在测试和实际应用模型时,不需要进行dropout和随机删减神经元,所有的神经元都在工作

Last updated