深度学习基础（基础知识0）(2)

　　可以看到，整个过程需要海量计算。所以，神经网络直到最近这几年才有实用价值，而且一般的 CPU 还不行，要使用专门为机器学习定制的 GPU 来计算。

　　这个例子里面，车牌照片就是输入，车牌号码就是输出，照片的清晰度可以设置权重（w）。然后，找到一种或多种图像比对算法，作为感知器。算法的得到结果是一个概率，比如75%的概率可以确定是数字1。这就需要设置一个阈值（b）（比如85%的可信度），低于这个门槛结果就无效。

　　一组已经识别好的车牌照片，作为训练集数据，输入模型。不断调整各种参数，直至找到正确率最高的参数组合。以后拿到新照片，就可以直接给出结果了。

　　上面的模型有一个问题没有解决，按照假设，输出只有两种结果：0和1。但是，模型要求w或b的微小变化，会引发输出的变化。如果只输出0和1，未免也太不敏感了，无法保证训练的正确性，因此必须将输出改造成一个连续性函数。

　　即和w和b之间是线性关系，变化率是偏导数。这就有利于精确推算出w和b的值了。

　　这里可以看到Sigmoid 函数是使用深度学习范围最广的一类激活函数，具有指数函数形状 。正式定义为：

　　在深度学习中，信号从一个神经元传入到下一层神经元之前是通过线性叠加来计算的，而进入下一层神经元需要经过非线性的激活函数，继续往下传递，如此循环下去。由于这些非线性函数的反复叠加，才使得神经网络有足够的capacity来抓取复杂的特征。

　　答：如果不使用激活函数，这种情况下每一层输出都是上一层输入的线性函数。无论神经网络有多少层，输出都是输入的线性函数，这样就和只有一个隐藏层的效果是一样的。这种情况相当于多层感知机(MLP)。

　　假设ANN网络已经搭建好了，在所有应用问题中（不管是网络结构，训练手段如何变化）我们的目标是不会变的，那就是网络的权值和偏置最终都变成一个最好的值，这个值可以让我们由输入可以得到理想的输出，于是问题就变成了y=f(x，w，b)（x是输入，w是权值，b为偏置）

　　最后的目标就变成了尝试不同的w，b值，使得最后的y=f（x）无限接近我们希望得到的值t，也就是让loss最小，loss可以用（y-t）^2的值尽可能的小。于是原先的问题化为了C（w，b）=（f（x，w，b）-t）^2取到一个尽可能小的值。这个问题不是一个困难的问题，不论函数如何复杂，如果C降低到了一个无法再降低的值，那么就取到了最小值（假设我们不考虑局部最小的情况）。

　　网络权值偏置更新问题 == f（x，w，b）的结果逼近t == C（w，b）=（f（x，w，b）-t）^2取极小值问题 == C（w，b）按梯度下降问题 ==取到极小值，网络达到最优。

　　主要是训练过程中，我们知道了输入和输出和groudtruth最后的真实结果，那么我们可以根据真实的结果-output得到误差值，再反向去推导前一层的误差，这样就可以更新我们的W 和B，比单纯的梯度下降去慢慢穷举一个个试试，速度快多了。

　　计算神经元h1的输入加权和，神经元h1的输出o1:(此处用到激活函数为sigmoid函数)，同理，可计算出神经元h2的输出o2。

　　这样前向传播的过程就结束了，我们得到输出值为[0.75136079 , 0.772928465]，与实际值[0.01 , 0.99]相差还很远，现在我们对误差进行反向传播，更新权值，重新计算输出。

　　以权重参数w5为例，如果我们想知道w5对整体误差产生了多少影响，可以用整体误差对w5求偏导求出：（链式法则），算出整体误差E(total)对w5的偏导值。