# 1.2 正交化（Orthogonalization）

每次只调试一个参数，保持其它参数不变，使得到的模型某一性能改变是一种最常用的调参策略，称之为正交化方法（Orthogonalization）

Orthogonalization的核心在于每次调试一个参数只会影响模型的某一个性能

机器学习监督式学习模型大致分成四个独立的“功能”：

* **Fit training set well on cost function ，**优化训练集可以通过使用更复杂NN，使用Adam等优化算法来实现
* **Fit dev set well on cost function，**优化验证集可以通过正则化，采用更多训练样本来实现
* **Fit test set well on cost function，**优化测试集可以通过使用更多的验证集样本来实现
* **Performs well in real world，**提升实际应用模型可以通过更换验证集，使用新的cost function来实现

每一种“功能”对应不同的调节方法，是正交的

early stopping在模型功能调试中并不推荐使用。因为early stopping在提升验证集性能的同时降低了训练集的性能。即early stopping同时影响两个“功能”，不具有独立性、正交性

![](https://2314428465-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-Le0cHhI0S0DK8pwlrmD%2F-Le0cKOp1vaxoORIi4ak%2F-Le0csmfoJXKvL2m3mzl%2F325import.png?generation=1556953141261749\&alt=media)