⑴ bp神经网络的缺点
1)局部极小化问题：从数学角度看，传统的BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。加上BP神经网络对初始网络权重非常敏感，以不同的权重初始化网络，其往往会收敛于不同的局部极小，这也是很多学者每次训练得到不同结果的根本原因。
2)BP神经网络算法的收敛速度慢：由于BP神经网络算法本质上为梯度下降法，它所要优化的目标函数是非常复杂的，因此，必然会出现“锯齿形现象”，这使得BP算法低效；又由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿。
3)BP神经网络结构选择不一：BP神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。
4)应用实例与网络规模的矛盾问题：BP神经网络难以解决应用问题的实例规模和网络规模间的矛盾问题，其涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题。
5)BP神经网络预测能力和训练能力的矛盾问题：预测能力也称泛化能力或者推广能力，而训练能力也称逼近能力或者学习能力。一般情况下，训练能力差时，预测能力也差。
⑵ BP神经网络的核心问题是什么其优缺点有哪些
人工神经网络,是一种旨在模仿人脑结构及其功能的信息处理系统,就是使用人工神经网络方法实现模式识别.可处理一些环境信息十分复杂,背景知识不清楚,推理规则不明确的问题,神经网络方法允许样品有较大的缺损和畸变.神经网络的类型很多,建立神经网络模型时,根据研究对象的特点,可以考虑不同的神经网络模型. 前馈型BP网络,即误差逆传播神经网络是最常用,最流行的神经网络.BP网络的输入和输出关系可以看成是一种映射关系,即每一组输入对应一组输出.BP算法是最着名的多层前向网络训练算法,尽管存在收敛速度慢,局部极值等缺点,但可通过各种改进措施来提高它的收敛速度,克服局部极值现象,而且具有简单,易行,计算量小,并行性强等特点,目前仍是多层前向网络的首选算法.
多层前向BP网络的优点：
网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题；
网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力；
网络具有一定的推广、概括能力。
多层前向BP网络的问题：
从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；
网络的逼近、推广能力同学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。
难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题；
网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。为此，有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题；
新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同；
网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力的提高，预测能力反而下降，即出现所谓“过拟合”现象。此时，网络学习了过多的样本细节，而不能反映样本内含的规律
由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效；
存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；
为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。
⑶ 神经网络——BP算法
对于初学者来说，了解了一个算法的重要意义，往往会引起他对算法本身的重视。BP(Back Propagation，后向传播)算陆袭法，具有非凡的历史意义和重大的现实意义。
1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR )这样的基本问题,而且对多层网络也持悲观态度。这些论点给神经网络研究以沉重的打击,很多科学家纷纷离开这一领域,神经网络的研究走向长达10年的低潮时期。[1]
1974年哈佛大学的Paul Werbos发明BP算法时，正值神经外网络低潮期，并未受到应有的重视。[2]
1983年，加州理工学院的物理学家John Hopfield利用神经网络，在旅行商这个NP完全问题的求解上获得当时最好成绩，引起了轰动[2]。然而,Hopfield的研究成果仍未能指出明斯基等人论点的错误所在,要推动神培判经网络研究的全面开展必须直接解除对感知器——多层网络算法的疑虑。[1]
真正打破明斯基冰封魔咒的是，David Rumelhart等学者出版的《平行分布处理:认知的微观结构探索》一书。书中完整地提出了BP算法,系统地解决了多层网络中隐单元连接权的学习问题,并在数学上给出了完整的推导。这是神经网络发展史上的里程碑，BP算法迅速走红，掀起了神经网络的第二次高潮。[1,2]
因此，BP算法的历史意义：明确地否定了明斯基等人的错误观点，对神经网络第二次高潮具有决定性意义。
这一点是说BP算法在神经网络领域中的地位和意义。
BP算法是迄今最成功的神经网络学习算法，现实任务中使用神经网络时，大多是在使用BP算法进行训练[2],包括最近炙手可热的深度学习概念下的卷积神经网络(CNNs)。
BP神经网络是这样一种神经网络模型，它是由一个输入层、一个输出层和一个或多个隐层构成，它的激活函数采用sigmoid函数，采用BP算法训练的多层前馈神经网络。
BP算法全称叫作误差反向传播(error Back Propagation，或早中兄者也叫作误差逆传播)算法。其算法基本思想为：在2.1所述的前馈网络中，输入信号经输入层输入，通过隐层计算由输出层输出，输出值与标记值比较，若有误差，将误差反向由输出层向输入层传播，在这个过程中，利用梯度下降算法对神经元权值进行调整。
BP算法中核心的数学工具就是微积分的 链式求导法则 。
BP算法的缺点，首当其冲就是局部极小值问题。
BP算法本质上是梯度下降，而它所要优化的目标函数又非常复杂，这使得BP算法效率低下。
[1]、《BP算法的哲学思考》，成素梅、郝中华着
[2]、《机器学习》，周志华着
[3]、 Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现
2016-05-13 第一次发布
2016-06-04 较大幅度修改，完善推导过程，修改文章名
2016-07-23 修改了公式推导中的一个错误，修改了一个表述错误
⑷ 机器学习算法之神经网络
在学习了机器学习的相关知识以后，我们知道其中的算法有很多种，比如回归算法、K近邻算法等等，这些都是需要大家掌握的算法，而神经网络算法是一个十分实用的算法，在这篇文章中我们就给大家介绍一下机器学习算法中的神经网络算法知识。
那么什么是神经网络算法呢？其实神经网络也称之为人工神经网络，简单就是ANN，而算法是80年代机器学习界非常流行的算法，不过在90年代中途衰落。现在，随着深度学习的发展，神经网络再次出现在大家的视野中，重新成为最强大的机器学习算法之一。而神经网络的诞生起源于对大脑工作机理的研究。早期生物界学者们使用神经网络来模拟大脑。机器学习的学者们使用神经网络进行机器学习的实验，发现在视觉与语音的识别上效果都相当好。
那么神经网络的学习机理是什么呢？简单来说，就是分解与整合。我们可以通过一个例子进行解答这个问题，比如说，我们可以把一个正方形分解为四个折线进入视觉处理的下一层中。四个神经元分别处理一个折线。每个折线再继续被分解为两条直线，每条直线再被分解为黑白两个面。于是，一个复杂的图像变成了大量的细节进入神经元，神经元处理以后再进行整合，最后得出了看到的是正方形的结论。这就是大脑视觉识别的机理，也是神经网络工作的机理。
那么神经网络的逻辑架构是什么呢？其实一个简单的神经网络的逻辑架构分成输入层，隐藏层，和输出层。输入层负责接收信号，隐藏层负责对数据的分解与处理，最后的结果被整合到输出层。每层中的一个圆代表一个处理单元，可以认为是模拟了一个神经元，若干个处理单元组成了一个层，若干个层再组成了一个网络，这就是所谓的神经网络知识。
当然，在神经网络中，其实每一个处理单元事实上就是一个逻辑回归模型，逻辑回归模型接收上层的输入，这样，把模型的预测结果作为输出传输到下一个层次。这些过程，神经网络可以完成非常复杂的非线性分类。在神经网络在图像识别领域的一个着名应用，而这个程序叫做LeNet，是一个基于多个隐层构建的神经网络。通过LeNet可以识别多种手写数字，并且达到很高的识别精度与拥有较好的鲁棒性。这也是神经网络中最着名的应用。
在这篇文章中我们给大家介绍了很多关于神经网络的相关知识，通过这些知识我们可以更好地了解神经网络算法。当然，我们要想了解机器学习还需要掌握更多的算法。
⑸ 神经网络算法的优势与应用
人工神经网络（ANN）以大脑处理机制作为基础，开发用于建立复杂模式和预测问题的算法。
首先了解大脑如何处理信息：
在大脑中，有数亿个神经元细胞，以电信号的形式处理信息。外部信息或者刺激被神经元的树突接收，在神经元细胞体中处理，转化成输出并通过轴突,传递到下一个神经元。下一个神经元可以选择接受它或拒绝它，这取决于信号的强度。
[图片上传失败...(image-cc0d9d-1512012156403)]
现在，让我们尝试了解 ANN 如何工作：
这里， $w_1$ ， $w_2$ ， $w_3$ 给出输入信号的强度
从上面可以看出，ANN 是一个非常简单的表示大脑神经元如何工作的结构。
为了使事情变得更清晰，用一个简单的例子来理解 ANN：一家银行想评估是否批准贷款申请给客户，所以，它想预测一个客户是否有可能违约贷款。它有如下数据：
所以，必须预测列 X。更接近 1 的预测值表明客户更可能违约。
基于如下例子的神经元结构，尝试创建人造神经网络结构：
通常，上述示例中的简单 ANN 结构可以是：
[图片上传失败...(image-1b4516-1512012156403)]
ANN 有一些关键优势，使它们最适合某些问题和情况：
ANN 是具有广泛应用的强大的模型。以上列举了几个突出的例子，但它们在医药、安全、银行、金融、政府、农业和国防等领域有着广泛的应用。
⑹ 最小二乘法、回归分析法、灰色预测法、决策论、神经网络等5个算法的使用范围及优缺点是什么
最小二乘法：通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。优点：实现简单，计算简单。缺点：不能拟合非线性数据.
回归分析法：指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。优点：在分析多因素模型时，更加简单和方便，不仅可以预测并求出函数，还可以自己对结果进行残差的检验，检验模型的精度。缺点：回归方程式只是一种推测，这影响了因子的多样性和某些因子的不可测性，使得回归分析在某些情况下受到限制。
灰色预测法：
色预测法是一种对含有不确定因素的系统进行预测的方法 。它通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。它用等时间距离观测到的反应预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或者达到某一特征量的时间。优点：对于不确定因素的复杂系统预测效果较好，且所需样本数据较小。缺点：基于指数率的预测没有考虑系统的随机性，中长期预测精度较差。
决策树：在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。优点：能够处理不相关的特征；在相对短的时间内能够对大型数据源做出可行且效果良好的分析；计算简单，易于理解，可解释性强；比较适合处理有缺失属性的样本。缺点：忽略了数据之间的相关性；容易发生过拟合（随机森林可以很大程度上减少过拟合）；在决策树当中,对于各类别样本数量不一致的数据，信息增益的结果偏向于那些具有更多数值的特征。
神经网络：优点：分类的准确度高；并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系；具备联想记忆的功能。缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。