3.3 超参数训练的实践: Pandas VS Caviar(Hyperparameters tuning in practice: Pandas vs. Caviar)
经过调试选择完最佳的超参数不是一成不变的,一段时间之后(例如一个月),需要根据新的数据和实际情况,再次调试超参数,以获得实时的最佳模型
在训练深度神经网络时,一种情况是有庞大的数据组,但没有许多计算资源或足够的 CPU 和 GPU 的前提下,只能对一个模型进行训练,调试不同的超参数,使得这个模型有最佳的表现。称之为Babysitting one model。另外一种情况是可以对多个模型同时进行训练,每个模型上调试不同的超参数,根据表现情况,选择最佳的模型。称之为Training many models in parallel
第一种情况只使用一个模型,类比做Panda approach;第二种情况同时训练多个模型,类比做Caviar approach。使用哪种模型是由计算资源、计算能力所决定的。一般来说,对于非常复杂或者数据量很大的模型,使用Panda approach更多一些
Previous3.2 为超参数选择合适的范围(Using an appropriate scale to pick hyperparameters)Next3.4 归一化网络的激活函数( Normalizing activations in a network)
Last updated