Plum Wine Blog

　　来源：Reddit 等  编辑：金磊、鹏飞

　　【新智元导读】训练神经网络可以用听的！Reddit 网友做了一个非常有趣的实验：将每个神经网络层梯度范式转换成了一个音调，这样人类就可以凭借听觉，来很好的分辨出非常小的干扰，比如节奏和音调。

　　训练神经网络还可以用“听”的！

　　网友做了一个非常有趣的实验：将每个神经网络层梯度范式转换成了一个音调，这样人类就可以凭借听觉，来很好的分辨出非常小的干扰，比如节奏和音调。

　　以往，我们在训练神经网络的时候，通常会测量许多不同的指标，例如精度、损失以及梯度等等。这些工作大部分是在 TensorBoard 上聚合上述度量指标并且绘制可视化。

　　但除了视觉之外，有 Reddit 网友提出：用听觉也可以监控神经网络的训练！

　　博客地址：

　　http://blog.christianperone.com/2019/08/listening-to-the-neural-network-gradient-norms-during-training/

　　声音是目前神经网络训练中研究较少的一个方向。人类的听觉可以很好的分辨出非常小的干扰(即使这些干扰时间很短或很细微)，比如节奏和音高。

　　在这个实验中，研究者做了一个非常简单的例子，显示了使用每层的梯度范数进行的合成声音，以及使用不同设置(如不同学习率、优化器，动量等)对 MNIST 进行卷积神经网络训练的步骤等。

　　看到这个结果，Reddit 网友嗨了，纷纷开发脑洞。

　　MLApprentice：

这真太了不起了。我一直在寻找直观体验渐变的方法，我觉得只看直方图时很难注意到训练模式。你有没有想过用图层深度来控制音高并使用音量来表示规范呢？这样我们光靠听音高就能知道是第几层了。

　　klaysDoodle：

10 层网络以后，我聋了

　　MLApprentice：

楼上你太搞笑了。你可以将深度标准化，使其保持在人类听觉范围内就可以。

　　gohu_cd：

很有意思！我想知道这是否有助于调试神经网络训练。因为其中存在不同的加权损失，甚至是对抗的（例如 GAN）。因为视觉和听觉都是感官，查看图表或听觉声音应该具有相同数量的信息。可以用对应于加权梯度的所有声音创建一个“交响乐”，也许这对于确定每个损失的正确权重是有用的。

　　在下文给出的实验中，你需要安装 PyAudio 和 PyTorch 来运行代码。

　　一、“听见”神经网络的声音

　　如下训练神经网络的声音可跳转至下方链接听：

　　http://blog.christianperone.com/2019/08/listening-to-the-neural-network-gradient-norms-during-training/　　

　　用 LR 0.01 和 SGD 训练声音

　　下面这个音频片段表示在第一个 epoch 的前 200 步中使用 4 个层的梯度，并使用 10 个 batche 大小的训练会话。音高越高，一个神经网络层的标准值就越高，不同的 batche 之间会有短暂的静音。

　　用 LR 0.1 的 SGD 训练声音

　　同上，但是学习率更高了。

　　用 LR 1.0 的 SGD 训练声音

　　同上，但是随着学习率的提高，神经网络产生发散(diverge)。

　　用 LR 1.0、BS 256 的 SGD 训练声音

　　设置是相同的，但是学习率高达 1.0，batche 大小为 256。

　　用 LR 0.01 的 Adam 训练声音

　　与 SGD 的设置相同，但使用的是 Adam。

　　二、源代码展示

　　以下是实验的全部源代码，有兴趣的读者可以上手试一下。

　　Reddit 地址：

　　https://www.reddit.com/r/MachineLearning/comments/clyzgx/p_listening_to_the_neural_network_gradient_norms/

　　博客：

　　http://blog.christianperone.com/2019/08/listening-to-the-neural-network-gradient-norms-during-training/

来自:
新智元（ID:AI_era）