神经网络:动态部分

训练技巧

损失函数可视化

损失函数一般都是定义在高维度的空间中,这样要将其可视化就很困难。然而办法还是有的,在1个维度或者2个维度的方向上对高维空间进行切片,例如,随机生成一个权重矩阵W,该矩阵就与高维空间中的一个点对应。然后沿着某个维度方向前进的同时记录损失函数值的变化。换句话说,就是生成一个随机的方向$W_1$并且沿着此方向计算损失值,计算方法是根据不同的$\alpha$值来计算$L(W+aW_1)$。这个过程将生成一个图表,其x轴是$\alpha$值,y轴是损失函数值。同样的方法还可以用在两个维度上,通过改变a,b来计算损失值$L(W+aW_1+bW_2)$,从而给出二维的图像。在图像中,a,b可以分别用x和y轴表示,而损失函数的值可以用颜色变化表示:

preview

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×