1.2 正交化(Orthogonalization)

每次只调试一个参数,保持其它参数不变,使得到的模型某一性能改变是一种最常用的调参策略,称之为正交化方法(Orthogonalization)

Orthogonalization的核心在于每次调试一个参数只会影响模型的某一个性能

机器学习监督式学习模型大致分成四个独立的“功能”:

  • Fit training set well on cost function ,优化训练集可以通过使用更复杂NN,使用Adam等优化算法来实现

  • Fit dev set well on cost function,优化验证集可以通过正则化,采用更多训练样本来实现

  • Fit test set well on cost function,优化测试集可以通过使用更多的验证集样本来实现

  • Performs well in real world,提升实际应用模型可以通过更换验证集,使用新的cost function来实现

每一种“功能”对应不同的调节方法,是正交的

early stopping在模型功能调试中并不推荐使用。因为early stopping在提升验证集性能的同时降低了训练集的性能。即early stopping同时影响两个“功能”,不具有独立性、正交性

Last updated