C=4,某个样本的预测输出y^和真实输出y:
y^=0.30.20.10.4 y=0100 从y^值来看,P(y=4∣x)=0.4,概率最大,而真实样本属于第2类,该预测效果不佳
定义softmax classifier的loss function为:
L(y^,y)=−j=1∑4yj⋅log y^j L(y^,y)简化为:
L(y^,y)=−y2⋅log y^2=−log y^2 m个样本的cost function为:
softmax classifier的反向传播过程:
所有m个训练样本: