① 神经网络算法三大类
具体如下：
1、多层感知机，一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上，也称做唤携为全连接神经网络。2、卷积神经网络核心是卷积层，是一类包含卷积计算且具有深度结构的前馈神经网络算法之一。
3、残差收缩网络，残差收缩网络是卷积神经网络的改进，引入了软阈值纯伏化，更适合强噪数据。属链毁于深度残差网络（DeepResialNetwork，ResNet）的新型改进形式。人工神经网络（ArtificialNeuralNetwork，即ANN），是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。
② 神经网络——BP算法
对于初学者来说，了解了一个算法的重要意义，往往会引起他对算法本身的重视。BP(Back Propagation，后向传播)算陆袭法，具有非凡的历史意义和重大的现实意义。
1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR )这样的基本问题,而且对多层网络也持悲观态度。这些论点给神经网络研究以沉重的打击,很多科学家纷纷离开这一领域,神经网络的研究走向长达10年的低潮时期。[1]
1974年哈佛大学的Paul Werbos发明BP算法时，正值神经外网络低潮期，并未受到应有的重视。[2]
1983年，加州理工学院的物理学家John Hopfield利用神经网络，在旅行商这个NP完全问题的求解上获得当时最好成绩，引起了轰动[2]。然而,Hopfield的研究成果仍未能指出明斯基等人论点的错误所在,要推动神培判经网络研究的全面开展必须直接解除对感知器——多层网络算法的疑虑。[1]
真正打破明斯基冰封魔咒的是，David Rumelhart等学者出版的《平行分布处理:认知的微观结构探索》一书。书中完整地提出了BP算法,系统地解决了多层网络中隐单元连接权的学习问题,并在数学上给出了完整的推导。这是神经网络发展史上的里程碑，BP算法迅速走红，掀起了神经网络的第二次高潮。[1,2]
因此，BP算法的历史意义：明确地否定了明斯基等人的错误观点，对神经网络第二次高潮具有决定性意义。
这一点是说BP算法在神经网络领域中的地位和意义。
BP算法是迄今最成功的神经网络学习算法，现实任务中使用神经网络时，大多是在使用BP算法进行训练[2],包括最近炙手可热的深度学习概念下的卷积神经网络(CNNs)。
BP神经网络是这样一种神经网络模型，它是由一个输入层、一个输出层和一个或多个隐层构成，它的激活函数采用sigmoid函数，采用BP算法训练的多层前馈神经网络。
BP算法全称叫作误差反向传播(error Back Propagation，或早中兄者也叫作误差逆传播)算法。其算法基本思想为：在2.1所述的前馈网络中，输入信号经输入层输入，通过隐层计算由输出层输出，输出值与标记值比较，若有误差，将误差反向由输出层向输入层传播，在这个过程中，利用梯度下降算法对神经元权值进行调整。
BP算法中核心的数学工具就是微积分的 链式求导法则 。
BP算法的缺点，首当其冲就是局部极小值问题。
BP算法本质上是梯度下降，而它所要优化的目标函数又非常复杂，这使得BP算法效率低下。
[1]、《BP算法的哲学思考》，成素梅、郝中华着
[2]、《机器学习》，周志华着
[3]、 Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现
2016-05-13 第一次发布
2016-06-04 较大幅度修改，完善推导过程，修改文章名
2016-07-23 修改了公式推导中的一个错误，修改了一个表述错误
③ 多层前馈网络模型及BP算法
多层前馈网中,以单隐层网的应用最为普遍,如图6.1所示。习惯上将其称为三层前馈网或三层感知器,所谓三层即输入层、隐层和输出层。
图6.1 三层前馈神经网络结构
Fig.6.1 BP neural network structure
三层前馈网中,输入向量为X=(x1,x2,…,xi,…,xn)T,如加入x0=-1,可为输出层神经元引入阈值；隐层输出向量为Y=(y1,y2,…,yl,…,ym)T,如加入y0=-1,可为输出层神经元引入阈值；输出层输出向量为O=(o1,o2,…,ok,…,ol)T。输入层到隐层之间的权值阵用V表示,V=(V1,V2,…,Vj,…,Vm),其中列向量Vj为隐层第j个神经元对应的权向量；隐层到输出层之间的权值矩阵用W 表示,W=(W1,W2,…,Wk,…,Wl),其中列向量Wk为输出层第k个神经元对应的权向量。下面分析各层信号之间的数学关系。
输出层：
ok=f(netk)k=1,2,…,ι(6-1)
煤层开采顶板导水裂隙带高度预测理论与方法
隐层：
yj=f(netj)j=1,2,…,m(6-3)
煤层开采顶板导水裂隙带高度预测理论与方法
以上两式中,转移函数f(x)均为单极性Sigmoid函数
煤层开采顶板导水裂隙带高度预测理论与方法
f(x)具有连续、可导的特点,且有
煤层开采顶板导水裂隙带高度预测理论与方法
根据应用需要,也可以采用双极性Sigmoid函数(或称双曲线正切函数)
煤层开采顶板导水裂隙带高度预测理论与方法
式6-1～式6-6共同构成了三层前馈网的数学模型。
BP学习算法中按以下方法调整其权重与误差：
当网络输出与期望输出不相等时,存在输出误差E,定义如下：
煤层开采顶板导水裂隙带高度预测理论与方法
将以上误差定义式展开到隐层,
煤层开采顶板导水裂隙带高度预测理论与方法
进一步展开到输入层,
煤层开采顶板导水裂隙带高度预测理论与方法
由上式可以看出,网络输入误差是各层权值ωjk、υij的函数,因此调整权值可改变误差E。
显然,调整权值的原则是使误差不断减小,因此权值的调整量与误差的负梯度成正比,即
煤层开采顶板导水裂隙带高度预测理论与方法
煤层开采顶板导水裂隙带高度预测理论与方法
式中负号表示梯度下降,常数η∈(0,1)表示比例系数,在训练中反映了学习速率。可以看出BP法属于δ学习规则类,这类算法常被称为误差的梯度下降(GradientDescent)算法。