> For the complete documentation index, see [llms.txt](https://baozoulin.gitbook.io/neural-networks-and-deep-learning/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://baozoulin.gitbook.io/neural-networks-and-deep-learning/di-er-men-ke-gai-shan-shen-ceng-shen-jing-wang-luo-chao-can-shu-tiao-shi-zheng-ze-hua-yi-ji-you-hua/improving-deep-neural-networks/hyperparameter-tuning/38-softmax-hui-gui-ff08-softmax-regression.md).

# 3.8 Softmax 回归（Softmax regression）

Softmax 回归，能在识别多种分类中的一个时做出预测，对于多分类问题，用C表示种类个数，神经网络中输出层就有C个神经元，即$$n^{\[L]}=C$$，每个神经元的输出依次对应属于该类的概率，即$$P(y=c|x)$$，处理多分类问题一般使用Softmax回归模型

![](/files/-Le0cdMq0UlEyCLj99qS)

> 把猫做类 1，狗为类 2，小鸡 是类 3， 如果不属于以上任何一类， 就分到“其它”或者“以上均不符合”这一类，叫 做类 0

用大写C表示输入会被分入的类别总个数,当有 4 个分类时，指示类别的数字，就是从 0 到C − 1( 0、 1、 2、 3)

Softmax回归模型输出层的激活函数：

$$
z^{\[L]}=W^{\[L]}a^{\[L-1]}+b^{\[L]}
$$

$$
a^{\[L]}\_i=\frac{e^{z^{\[L]}*i}}{\sum*{i=1}^Ce^{z^{\[L]}\_i}}
$$

输出层每个神经元的输出$$a^{\[L]}\_i$$对应属于该类的概率，满足：

$$
\sum\_{i=1}^Ca^{\[L]}\_i=1
$$

所有的$$a^{\[L]}\_i$$，即$$\hat y$$，维度为(C, 1)

![](/files/-Le0cdMtCC_eDPVqp7hk)

在没有隐藏隐藏层的时候，直接对Softmax层输入样本的特点，则在不同数量的类别下，Sotfmax层的作用：

![](/files/-Le0cdMv54akR7XNyfQ3)

图中的颜色显示了 Softmax 分类器的输出的阈值，输入的着色是基于三种输出中概率最高的那种，任何两个分类之间的决策边界都是线性的

如果使用神经网络，特别是深层神经网络，可以得到更复杂、更精确的非线性模型