# 2.4 网络中的网络以及 1×1 卷积（Network in Network and 1×1 convolutions）

如果是一张6×6×32的图片，使用1×1过滤器进行卷积效果更好。1×1卷积所实现的功能是遍历这36个单元格，计算左图中32个数字和过滤器中32个数字的元素积之和，然后应用**ReLU**非线性函数

[![](https://github.com/fengdu78/deeplearning_ai_books/raw/master/images/7522d4cbc42b7db1c5a05bc461106590.png)](https://github.com/fengdu78/deeplearning_ai_books/blob/master/images/7522d4cbc42b7db1c5a05bc461106590.png)

1×1×32过滤器中的32个数字可以理解为一个神经元的输入是32个数字，这32个数字具有不同通道，乘以32个权重（将过滤器中的32个数理解为权重），然后应用**ReLU**非线性函数，输出相应的结果

[![](https://github.com/fengdu78/deeplearning_ai_books/raw/master/images/f97e6c31c2b27a2d4ef9610b8f32b335.png)](https://github.com/fengdu78/deeplearning_ai_books/blob/master/images/f97e6c31c2b27a2d4ef9610b8f32b335.png)

如果过滤器是多个，就好像有多个输入单元，其输入内容为一个切片上所有数字，输出结果是6×6×#filters

[![](https://github.com/fengdu78/deeplearning_ai_books/raw/master/images/70eba35d0705dc681c40f09a0926061a.png)](https://github.com/fengdu78/deeplearning_ai_books/blob/master/images/70eba35d0705dc681c40f09a0926061a.png)

1×1卷积可以从根本上理解为对这32个不同的位置都应用一个全连接层，全连接层的作用是输入32个数字（过滤器数量标记为$$n\_{C}^{\left\lbrack l + 1\right\rbrack}$$，在这36个单元上重复此过程）,输出结果是6×6×#filters（过滤器数量），以便在输入层上实施一个非平凡（**non-trivial**）计算

[![](https://github.com/fengdu78/deeplearning_ai_books/raw/master/images/46698c486da9ae184532d773716c77e9.png)](https://github.com/fengdu78/deeplearning_ai_books/blob/master/images/46698c486da9ae184532d773716c77e9.png)

这种方法通常称为1×1卷积，也被称为**Network in Network**

假设一个28×28×192的输入层，如果通道数量很大，可以用32个大小为1×1×192的过滤器，使输出层为28×28×32，这就是压缩通道数（$$n\_{C}$$）的方法

[![](https://github.com/fengdu78/deeplearning_ai_books/raw/master/images/49a16fdc10769a86355911f9e324c728.png)](https://github.com/fengdu78/deeplearning_ai_books/blob/master/images/49a16fdc10769a86355911f9e324c728.png)

如果想保持通道数192不变，也是可行的，1×1卷积只是添加了非线性函数，也可以让网络学习更复杂的函数

[![](https://github.com/fengdu78/deeplearning_ai_books/raw/master/images/70f3b26fe86c3ec2507b8bb85be8d30c.png)](https://github.com/fengdu78/deeplearning_ai_books/blob/master/images/70f3b26fe86c3ec2507b8bb85be8d30c.png)

1×1卷积层给神经网络添加了一个非线性函数，从而减少或保持输入层中的通道数量不变，也可以增加通道数量