3.2 为超参数选择合适的范围(Using an appropriate scale to pick hyperparameters)

pick hyperparameters)

随机取值并不是在有效范围内的随机均匀取值,而是选择合适的标尺,用于探究这些超参数

对于超参数#layers和#hidden units,都是正整数,是可以进行均匀随机采样的,即超参数每次变化的尺度都是一致

通常的做法是将linear scale转换为log scale,将均匀尺度转化为非均匀尺度,然后再在log scale下进行均匀采样。这样,[0.0001, 0.001],[0.001, 0.01],[0.01, 0.1],[0.1, 1]各个区间内随机采样的超参数个数基本一致,扩大了之前[0.0001, 0.1]区间内采样值个数

m = np.log10(a)
n = np.log10(b)
r = np.random.rand()
r = m + (n-m)*r
r = np.power(10,r)

Last updated