第二周:优化算法 (Optimization algorithms)
2.1 Mini-batch 梯度下降(Mini-batch gradient descent)
神经网络训练过程是同时对所有m个样本(称为batch)通过向量化计算方式进行的。如果m很大,训练速度会很慢,因为每次迭代都要对所有样本进进行求和运算和矩阵运算。这种梯度下降算法称为Batch Gradient Descent
解决:
把m个训练样本分成若干个子集,称为mini-batches,然后每次在单一子集上进行神经网络训练,这种梯度下降算法叫做Mini-batch Gradient Descent
假设总的训练样本个数,其维度为。将其分成5000个子集,每个mini-batch含有1000个样本。将每个mini-batch记为,其维度为。相应的每个mini-batch的输出记为,其维度为(1,1000),且
:第i个样本
:神经网络第层网络的线性输出
:第t组mini-batch
Mini-batches Gradient Descent是先将总的训练样本分成T个子集(mini-batches),然后对每个mini-batch进行神经网络训练,包括Forward Propagation,Compute Cost Function,Backward Propagation,循环至T个mini-batch都训练完毕
经过T次循环之后,所有m个训练样本都进行了梯度下降计算。这个过程称之为经历了一个epoch。对于Batch Gradient Descent而言,一个epoch只进行一次梯度下降算法;而Mini-Batches Gradient Descent,一个epoch会进行T次梯度下降算法
对于Mini-Batches Gradient Descent,可以进行多次epoch训练。每次epoch,最好是将总体训练数据打乱、重新分成T组mini-batches,这样有利于训练出最佳的神经网络模型
2.2 理解 mini-batch 梯度下降法(Understanding mini-batch gradient descent)
Batch gradient descent和Mini-batch gradient descent的cost曲线:
对于一般的神经网络模型,使用Batch gradient descent,随着迭代次数增加,cost是不断减小的。而使用Mini-batch gradient descent,随着在不同的mini-batch上迭代训练,其cost不是单调下降,而是受类似noise的影响,出现振荡。但整体的趋势是下降的,最终也能得到较低的cost值
出现细微振荡的原因是不同的mini-batch之间是有差异的。可能第一个子集是好的子集,而第二个子集包含了一些噪声noise。出现细微振荡是正常的
如果mini-batch size=m,即为Batch gradient descent,只包含一个子集为;
如果mini-batch size=1,即为Stachastic gradient descent,每个样本就是一个子集,共有m个子集
蓝色的线代表Batch gradient descent,紫色的线代表Stachastic gradient descent。Batch gradient descent会比较平稳地接近全局最小值,但因为使用了所有m个样本,每次前进的速度有些慢。Stachastic gradient descent每次前进速度很快,但路线曲折,有较大的振荡,最终会在最小值附近来回波动,难达到最小值。而且在数值处理上不能使用向量化的方法来提高运算速度
mini-batch size不能设置得太大(Batch gradient descent),也不能设置得太小(Stachastic gradient descent)。相当于结合了Batch gradient descent和Stachastic gradient descent各自的优点,既能使用向量化优化算法,又能较快速地找到最小值。mini-batch gradient descent的梯度下降曲线如下图绿色所示,每次前进速度较快,且振荡较小,基本能接近全局最小值。
总体样本数量m不太大时,例如,建议直接使用Batch gradient descent
总体样本数量m很大时,建议将样本分成许多mini-batches。推荐常用的mini-batch size为64,128,256,512。都是2的幂。原因是计算机存储数据一般是2的幂,这样设置可以提高运算速度
mini-batch 中确保 和要符合 CPU/GPU 内存,取决于应用方向以及训练集的大小。如果处理的 mini-batch 和 CPU/GPU 内存不相符,不管用什么方法处理数据,算法的表现都急转直下变得惨不忍睹
从训练集(X,Y)中构建小批量
随机洗牌(Shuffle):创建训练集(X,Y)的混洗版本,X和Y的每一列代表一个训练示例。随机混洗是在X和Y之间同步完成的。这样在混洗之后第列的X对应的例子就是Y第列中的标签。混洗步骤可确保将示例随机分成不同的小批次
分区(Partition):将混洗(X,Y)分区为小批量mini_batch_size(此处为64)。训练示例的数量并非总是可以被mini_batch_size整除。最后一个小批量可能会更小
2.3 指数加权平均数(Exponentially weighted averages)
半年内伦敦市的气温变化:
温度数据有noise,抖动较大
如果希望看到半年内气温的整体变化趋势,可以通过移动平均(moving average)的方法来对每天气温进行平滑处理
设,当成第0天的气温值
第一天的气温与第0天的气温有关:
第二天的气温与第一天的气温有关:
第三天的气温与第二天的气温有关:
第天与第天的气温迭代关系为:
经过移动平均处理得到的气温如下图红色曲线所示:
值决定了指数加权平均的天数,近似表示为:
当,则,表示将前10天进行指数加权平均。当,则,表示将前50天进行指数加权平均。值越大,则指数加权平均的天数越多,平均后的趋势线就越平缓,但是同时也会向右平移
绿色曲线和黄色曲线分别表示了和时,指数加权平均的结果
2.4 理解指数加权平均数(Understanding exponentially weighted averages )
指数加权平均公式的一般形式:
是原始数据值,是类似指数曲线,从右向左,呈指数下降的。 的值是这两个子式的点乘,将原始数据值与衰减指数点乘,相当于做了指数衰减,离得越近,影响越大,离得越远,影响越小,衰减越厉害
为了减少内存的使用,使用这样的语句来实现指数加权平均算法:
2.5 指 数 加 权 平 均 的 偏 差 修 正 ( Bias correction inexponentially weighted averages )
当时,指数加权平均结果如绿色曲线。但实际上真实曲线如紫色曲线
紫色曲线与绿色曲线的区别是,紫色曲线开始的时候相对较低一些。因为开始时设置,所以初始值会相对小一些,直到后面受前面的影响渐渐变小,趋于正常
修正这种问题的方法是进行偏移校正(bias correction),即在每次计算完后,对进行下式处理:
刚开始的时候,比较小,,被修正得更大一些,效果是把紫色曲线开始部分向上提升一些,与绿色曲线接近重合。随着增大,,基本不变,紫色曲线与绿色曲线依然重合。实现了简单的偏移校正,得到希望的绿色曲线
机器学习中,偏移校正并不是必须的。因为,在迭代一次次数后(较大),受初始值影响微乎其微,紫色曲线与绿色曲线基本重合。一般可以忽略初始迭代过程,等到一定迭代之后再取值就不需要进行偏移校正
2.6 动量梯度下降法(Gradient descent with Momentum )
动量梯度下降算法速度比传统的梯度下降算法快很多。做法是在每次训练时,对梯度进行指数加权平均处理,然后用得到的梯度值更新权重和常数项
原始的梯度下降算法如上图蓝色折线所示。在梯度下降过程中,梯度下降的振荡较大,尤其对于、之间数值范围差别较大的情况。此时每一点处的梯度只与当前方向有关,产生类似折线的效果,前进缓慢。而如果对梯度进行指数加权平均,使当前梯度不仅与当前方向有关,还与之前的方向有关,在纵轴方向, 平均过程中,正负数相互抵消,所以平均值接近于零。但在横轴方向,所 有的微分都指向横轴方向,因此横轴方向的平均值仍然较大,用算法几次迭代后,最终纵轴方向的摆动变小了,横轴方向运动更快,因此算法走了一 条更加直接的路径,在抵达最小值的路上减少了摆动,这样处理让梯度前进方向更加平滑,减少振荡,能够更快地到达最小值处
权重和常数项的指数加权平均表达式如下:
动量的角度来看,以权重为例,可以理解成速度,可以看成是加速度。指数加权平均实际上是计算当前的速度,当前速度由之前的速度和现在的加速度共同影响。而又能限制速度过大。即当前的速度是渐变的,而不是瞬变的,是动量的过程。保证了梯度下降的平稳性和准确性,减少振荡,较快地达到最小值处
动量梯度下降算法的过程如下:
初始时,令。一般设置,即指数加权平均前10次的数据,实际应用效果较好。
偏移校正可以不使用。因为经过10次迭代后,随着滑动平均的过程,偏移情况会逐渐消失
2.7 RMSprop(root mean square prop)
RMSprop是另外一种优化梯度下降速度的算法。每次迭代训练过程中,其权重和常数项的更新表达式为:
RMSprop算法的原理解释
令水平方向为的方向,垂直方向为的方向
梯度下降(蓝色折线)在垂直方向()上振荡较大,在水平方向()上振荡较小,表示在方向上梯度较大,即较大,而在方向上梯度较小,即较小。因此,上述表达式中较大,而较小。在更新和的表达式中,变化值较大,而较小。也就使得变化得多一些,变化得少一些。即加快了方向的速度,减小了方向的速度,减小振荡,实现快速梯度下降算法,其梯度下降过程如绿色折线所示。总的来说,就是如果哪个方向振荡大,就减小该方向的更新速度,从而减小振荡
为了避免RMSprop算法中分母为零,通常可以在分母增加一个极小的常数:
,或者其它较小值
2.8 Adam 优化算法(Adam optimization algorithm)
Adam(Adaptive Moment Estimation)算法结合了动量梯度下降算法和RMSprop算法。其算法流程为:
Adam算法包含了几个超参数,分别是:,通常设置为0.9,通常设置为0.999,通常设置为。一般只需要对和进行调试
Adam算法结合了动量梯度下降和RMSprop各自的优点,使得神经网络训练速度大大提高
2.9 学习率衰减(Learning rate decay)
减小学习因子也能有效提高神经网络训练速度,这种方法被称为learning rate decay, Learning rate decay就是随着迭代次数增加,学习因子逐渐减小
下图中,蓝色折线表示使用恒定的学习因子,由于每次训练相同,步进长度不变,在接近最优值处的振荡也大,在最优值附近较大范围内振荡,与最优值距离就比较远。绿色折线表示使用不断减小的,随着训练次数增加,逐渐减小,步进长度减小,使得能够在最优值处较小范围内微弱振荡,不断逼近最优值。相比较恒定的来说,learning rate decay更接近最优值
Learning rate decay中对的公式:
deacy_rate是参数(可调),epoch是迭代次数。随着epoch增加,会不断变小
其它计算公式:
为可调参数,为mini-bach number
还可以设置为关于的离散值,随着增加,呈阶梯式减小。也可以根据训练情况灵活调整当前的值,但会比较耗时间
2.10 局部最优的问题(The problem of local optima)
以前对局部最优解的理解是形如碗状的凹槽,如下图左边所示。但是在神经网络中,local optima的概念发生了变化。大部分梯度为零的“最优点”并不是这些凹槽处,而是形如右边所示的马鞍状,称为saddle point(鞍点)。即梯度为零并不能保证都是convex(极小值),也有可能是concave(极大值)。特别是在神经网络中参数很多的情况下,所有参数梯度为零的点很可能都是右边所示的马鞍状的saddle point,而不是左边那样的local optimum
类似马鞍状的plateaus(平稳端)会降低神经网络学习速度。Plateaus是梯度接近于零的平缓区域,在plateaus上梯度很小,前进缓慢,到达saddle point需要很长时间。到达saddle point后,由于随机扰动,梯度一般能够沿着图中绿色箭头,离开saddle point,继续前进,只是在plateaus上花费了太多时间
local optima的两点总结:
只要选择合理的强大的神经网络,一般不太可能陷入local optima
Plateaus可能会使梯度下降变慢,降低学习速度
动量梯度下降,RMSprop,Adam算法都能有效解决plateaus下降过慢的问题,大大提高神经网络的学习速度
Last updated