UFLDL 笔记 05 自编码训练结果展示 Visualizing a Trained Autoencoder

上一节中已经学会训练稀疏的自编码器，这一节将展示它神秘的隐藏单元。
还要再借上一节的图用下：

这里我们假设输入是一个10*10的图片，也就是有100个输入单元。
对于每个隐藏单元都会进行如下计算：

$a_i^{2}$是隐藏单元的计算结果。
每一个$a_i^{2}$都有100个输入，这里要求的就是什么样的输入的组合能够让该隐藏单元最兴奋。
这里有100个输入也就是有100个未知数，如何求解的我们就暂且先放过，其最后的结果是对于第i个节点的100个输入的计算是：

代入神经网络训练好之后的参数，对于每一个i都会得到100个可以使它最兴奋的输入值，也就是100个像素的值，我们画出这些能使其最兴奋的图片就能形象的展示了到底是什么样的输入能使隐藏单元最兴奋。
下图是设置了100个隐藏单元的神经网络中隐藏单元最“中意”的输入值：

可以看出，神奇的是每一隐藏的单元所中意的都是一些不同角度和形态的“边缘”特征，这就说明在图像识别中，边缘特征是神经网络识别中最本质的特征。
如果隐藏单元j对x1（含100个像素）的输出最大，那么当有x1的特征输入时会产生一个最大值，这个最大值在分别乘以后面的权重，得到100个输出值，实现x1的复现.

附参数的含义：
$W_{i,j}^{(l)}$代表第l层第j个神经元对第l+1层中第i个神经元的传递的权重。