1.2 正交化（Orthogonalization）

每次只调试一个参数，保持其它参数不变，使得到的模型某一性能改变是一种最常用的调参策略，称之为正交化方法（Orthogonalization）

Orthogonalization的核心在于每次调试一个参数只会影响模型的某一个性能

机器学习监督式学习模型大致分成四个独立的“功能”：

• Fit training set well on cost function ，优化训练集可以通过使用更复杂NN，使用Adam等优化算法来实现

• Fit dev set well on cost function，优化验证集可以通过正则化，采用更多训练样本来实现

• Fit test set well on cost function，优化测试集可以通过使用更多的验证集样本来实现

• Performs well in real world，提升实际应用模型可以通过更换验证集，使用新的cost function来实现

每一种“功能”对应不同的调节方法，是正交的

early stopping在模型功能调试中并不推荐使用。因为early stopping在提升验证集性能的同时降低了训练集的性能。即early stopping同时影响两个“功能”，不具有独立性、正交性