> For the complete documentation index, see [llms.txt](https://baozoulin.gitbook.io/neural-networks-and-deep-learning/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://baozoulin.gitbook.io/neural-networks-and-deep-learning/di-san-men-ke-jie-gou-hua-ji-qi-xue-xi-xiang-mu-structuring-machine-learning-projects/di-san-men-ke-structuring-machine-learning-projects/di-yi-zhou-ml-strategy/12-zheng-jiao-hua-ff08-orthogonalization.md).

# 1.2 正交化（Orthogonalization）

每次只调试一个参数，保持其它参数不变，使得到的模型某一性能改变是一种最常用的调参策略，称之为正交化方法（Orthogonalization）

Orthogonalization的核心在于每次调试一个参数只会影响模型的某一个性能

机器学习监督式学习模型大致分成四个独立的“功能”：

* **Fit training set well on cost function ，**优化训练集可以通过使用更复杂NN，使用Adam等优化算法来实现
* **Fit dev set well on cost function，**优化验证集可以通过正则化，采用更多训练样本来实现
* **Fit test set well on cost function，**优化测试集可以通过使用更多的验证集样本来实现
* **Performs well in real world，**提升实际应用模型可以通过更换验证集，使用新的cost function来实现

每一种“功能”对应不同的调节方法，是正交的

early stopping在模型功能调试中并不推荐使用。因为early stopping在提升验证集性能的同时降低了训练集的性能。即early stopping同时影响两个“功能”，不具有独立性、正交性

![](/files/-Le0csmfoJXKvL2m3mzl)