3.8 Softmax 回归（Softmax regression）

Softmax 回归，能在识别多种分类中的一个时做出预测，对于多分类问题，用C表示种类个数，神经网络中输出层就有C个神经元，即$n^{[L]}=C$，每个神经元的输出依次对应属于该类的概率，即$P(y=c|x)$，处理多分类问题一般使用Softmax回归模型

把猫做类 1，狗为类 2，小鸡 是类 3， 如果不属于以上任何一类， 就分到“其它”或者“以上均不符合”这一类，叫 做类 0

用大写C表示输入会被分入的类别总个数,当有 4 个分类时，指示类别的数字，就是从 0 到C − 1( 0、 1、 2、 3)

Softmax回归模型输出层的激活函数：

$$z^{[L]}=W^{[L]}a^{[L-1]}+b^{[L]}$$

$$a^{[L]}_i=\frac{e^{z^{[L]}_i}}{\sum_{i=1}^Ce^{z^{[L]}_i}}$$

输出层每个神经元的输出$a^{[L]}_i$对应属于该类的概率，满足：

$$\sum_{i=1}^Ca^{[L]}_i=1$$

所有的$a^{[L]}_i$，即$\hat y$，维度为(C, 1)

在没有隐藏隐藏层的时候，直接对Softmax层输入样本的特点，则在不同数量的类别下，Sotfmax层的作用：

图中的颜色显示了 Softmax 分类器的输出的阈值，输入的着色是基于三种输出中概率最高的那种，任何两个分类之间的决策边界都是线性的

如果使用神经网络，特别是深层神经网络，可以得到更复杂、更精确的非线性模型