3.2 为超参数选择合适的范围(Using an appropriate scale to pick hyperparameters)
pick hyperparameters)
随机取值并不是在有效范围内的随机均匀取值,而是选择合适的标尺,用于探究这些超参数
对于超参数#layers和#hidden units,都是正整数,是可以进行均匀随机采样的,即超参数每次变化的尺度都是一致
通常的做法是将linear scale转换为log scale,将均匀尺度转化为非均匀尺度,然后再在log scale下进行均匀采样。这样,[0.0001, 0.001],[0.001, 0.01],[0.01, 0.1],[0.1, 1]各个区间内随机采样的超参数个数基本一致,扩大了之前[0.0001, 0.1]区间内采样值个数
Last updated