快手视频|可视化损失函数空间三维图( 三 )

def tau_2d(alpha beta theta_ast):
a = alpha * theta_ast[:NoneNone

b = beta * alpha * theta_ast[:NoneNone

return a + b
然后可以从 \uD835\uDEFC \uD835\uDF16 [0 1
和 \uD835\uDEFD \uD835\uDF16 [0 1
或任何范围绘制等高线图。在下面的代码段中，两者都在 [-20 20
范围内。
x = torch.linspace(-20 20 20)
y = torch.linspace(-20 20 20)
alpha beta = torch.meshgrid(x y)
space = tau_2d(alpha beta theta_ast)

losses = torch.empty_like(space[0 : :
)

for a _ in enumerate(x):
print(f'a = {a')
for b _ in enumerate(y):
Vec2Params(space[: a b
infer_net.parameters())
for _ (data label) in enumerate(dataloader):
with torch.no_grad():
infer_net.eval()
losses[a
[b
= loss_fn(infer_net(data) label).item()

该图为我们提供了两条信息：我们可以在两个方向上移动的速率，以及用于获得更大图像的范围。上面生成等高线图的片段（来自同一个 \uD835\uDEC9*）用于生成下面的等高线图，唯一的区别是\uD835\uDEFC 和 \uD835\uDEFD 的范围是 [-25000 25000
。

一些技巧这种可视化在比较优化方法和网络架构时非常有用。然而这并不总是有效的，因为有一些层不会对模型的有效结果产生任何影响。例如， ReLU可能不会改变网络的行为（因为都是正数）或者像BN这样的层在网络对这些层的不变性中也同样起作用。这使得我们无法进行有意义的比较。
另一方面，在某些情况下，某些单元对网络的大权值的扰动影响很小。但是有时对同一单元的敏感权重做同样的操作可能会造成混乱。为了解决这个问题，可以将随机生成的方向向量(如\uD835\uDEFF)归一化，使其具有与\uD835\uDEC9*相同的方向。更具体地说， \uD835\uDEFF中的每个filer与\uD835\uDEC9*[3
中的对应层方向相同:

这样做的好处是当方向(\uD835\uDEFF和\uD835\uDF02)以[3
的方式归一化时，等高线图能够捕捉损失表面的距离比例(例如，比较上面的两个图) 。
确定解空间（solution space）区域
考虑两组经过训练的参数：\uD835\uDEC9? 和 \uD835\uDEC9? 。前者在大BS的数据集上训练，后者在小BS上训练。两组参数的插值显示解决方案空间的宽度取决于批的大小。
例如，考虑以下轮廓从一个用 256 的批大小训练的模型 (13.74MB) 生成，而上面的一个用 64 的批大小训练的。

许多起伏说明，当使用大BS时，得到的权重往往小于小BS得到的权重[3
。
使用两个训练过的参数\uD835\uDEC9?和\uD835\uDEC9? ，以下参数是插值:

def tau_compare(alpha theta_l theta_s):
return theta_s + alpha * (theta_l - theta_s)
这个插值现在是一个基于批大小64到256之间的参数的函数。这种比较有助于发现更改批大小是否能够产生更好的优化。

虽然这只是基于批量大小寻找好的解决方案空间的一个例子，但其他参数和超参数也可以优化。一些关键要点 [3
包括以下内容：

更宽的网络可以防止混乱的局面
跳过连接会扩大解空间(或最小化方案)
空间中有浅谷会导致训练和测试的损失不理想
视觉上更平坦空间会对应较低的测试误差

引用

Ian J Goodfellow Oriol Vinyals and Andrew M Saxe. Qualitatively characterizing neural network optimization problems. In ICLR 2015
Daniel Jiwoong ImMichael Tao and Kristin Branson. An empirical analysis of deep network loss surfaces. arXiv:1612.04010 2016
Hao Li Zheng Xu Gavin Taylor Christoph Studer Tom Goldstein: Visualizing the Loss Landscape of Neural Nets. In NeurIPS 2018
- 上一页
- 1
- 2
- 3
- 4
- 下一页