1.4 满足和优化指标(Satisficing and optimizing metrics)
Previous1.3 单一数字评估指标(Single number evaluation metric)Next1.5 训练/开发/测试集划分(Train/dev/test distributions)
Last updated
Last updated
当把所有的性能指标都综合在一起,构成单值评价指标比较困难时:可以把某些性能作为优化指标(Optimizing metic),寻求最优化值;而某些性能作为满意指标(Satisficing metic),只要满足阈值就行
Accuracy和Running time这两个性能不太合适综合成单值评价指标。可以将Accuracy作为优化指标(Optimizing metic),Running time作为满意指标(Satisficing metic)。给Running time设定一个阈值,在其满足阈值的情况下,选择Accuracy最大的模型。如果设定Running time必须在100ms以内,模型C不满足阈值条件,剔除;模型B相比较模型A而言,Accuracy更高,性能更好
如果要考虑N个指标,则选择一个指标为优化指标,其他N-1个指标都是满足指标:
性能指标(Optimizing metic)需要优化,越优越好;满意指标(Satisficing metic)只要满足设定的阈值