1.10 理解人的表现(Understanding human-level performance)

医学图像识别的例子:

在减小误诊率的背景下,人类水平误差在这种情形下应定义为:0.5% error。但是实际应用中,不同人可能选择的human-level performance基准是不同的,这会带来一些影响

如果在为了部署系统或者做研究分析的背景下,也许超过一名普通医生即可,即人类水平误差在这种情形下应定义为:1% error

假如该模型training error为0.7%,dev error为0.8。如果选择Team of experienced doctors,即human-level error为0.5%,则bias比variance更加突出。如果选择Experienced doctor,即human-level error为0.7%,则variance更加突出。选择什么样的human-level error,有时候会影响bias和variance值的相对变化。当然这种情况一般只会在模型表现很好,接近bayes optimal error的时候出现。越接近bayes optimal error,模型越难继续优化,因为这时候的human-level performance可能是比较模糊难以准确定义的

Last updated