神经网络的算法流程图

❶ rbf神经网络算法是什么

RBF神经网络算法是由三层结构组成，输入层至隐层为非线性的空间变换，一般选用径向基函数的高斯函数进行运算；从隐层至输出层为线性空间变换，即矩阵与矩阵之间的变换。

RBF神经网络进行数据运算时需要确认聚类中心点的位置及隐层至输出层的权重。通常，选用K-means聚类算法或最小正交二乘法对数据大量的进行训练得出聚类中心矩阵和权重矩阵。

一般情况下，最小正交二乘法聚类中心点的位置是给定的，因此比较适合分布相对规律的数据。而K-means聚类算法则会自主选取聚类中心，进行无监督分类学习，从而完成空间映射关系。

RBF网络特点

RBF网络能够逼近任意非线性的函数(因为使用的是一个局部的激活函数。在中心点附近有最大的反应；越接近中心点则反应最大，远离反应成指数递减；就相当于每个神经元都对应不同的感知域)。

可以处理系统内难以解析的规律性，具有很好的泛化能力，并且具有较快的学习速度。

有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

当网络的一个或多个可调参数（权值或阈值）对任何一个输出都有影响时，这样的网络称为全局逼近网络。由于对于每次输入，网络上的每一个权值都要调整，从而导致全局逼近网络的学习速度很慢，比如BP网络。

❷ 神经网络——BP算法

对于初学者来说，了解了一个算法的重要意义，往往会引起他对算法本身的重视。BP(Back Propagation，后向传播)算陆袭法，具有非凡的历史意义和重大的现实意义。

1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR )这样的基本问题,而且对多层网络也持悲观态度。这些论点给神经网络研究以沉重的打击,很多科学家纷纷离开这一领域,神经网络的研究走向长达10年的低潮时期。[1]

1974年哈佛大学的Paul Werbos发明BP算法时，正值神经外网络低潮期，并未受到应有的重视。[2]

1983年，加州理工学院的物理学家John Hopfield利用神经网络，在旅行商这个NP完全问题的求解上获得当时最好成绩，引起了轰动[2]。然而,Hopfield的研究成果仍未能指出明斯基等人论点的错误所在,要推动神培判经网络研究的全面开展必须直接解除对感知器——多层网络算法的疑虑。[1]

真正打破明斯基冰封魔咒的是，David Rumelhart等学者出版的《平行分布处理:认知的微观结构探索》一书。书中完整地提出了BP算法,系统地解决了多层网络中隐单元连接权的学习问题,并在数学上给出了完整的推导。这是神经网络发展史上的里程碑，BP算法迅速走红，掀起了神经网络的第二次高潮。[1,2]

因此，BP算法的历史意义：明确地否定了明斯基等人的错误观点，对神经网络第二次高潮具有决定性意义。

这一点是说BP算法在神经网络领域中的地位和意义。

BP算法是迄今最成功的神经网络学习算法，现实任务中使用神经网络时，大多是在使用BP算法进行训练[2],包括最近炙手可热的深度学习概念下的卷积神经网络(CNNs)。

BP神经网络是这样一种神经网络模型，它是由一个输入层、一个输出层和一个或多个隐层构成，它的激活函数采用sigmoid函数，采用BP算法训练的多层前馈神经网络。

BP算法全称叫作误差反向传播(error Back Propagation，或早中兄者也叫作误差逆传播)算法。其算法基本思想为：在2.1所述的前馈网络中，输入信号经输入层输入，通过隐层计算由输出层输出，输出值与标记值比较，若有误差，将误差反向由输出层向输入层传播，在这个过程中，利用梯度下降算法对神经元权值进行调整。

BP算法中核心的数学工具就是微积分的 链式求导法则 。

BP算法的缺点，首当其冲就是局部极小值问题。

BP算法本质上是梯度下降，而它所要优化的目标函数又非常复杂，这使得BP算法效率低下。

[1]、《BP算法的哲学思考》，成素梅、郝中华着

[2]、《机器学习》，周志华着

[3]、 Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现

2016-05-13 第一次发布

2016-06-04 较大幅度修改，完善推导过程，修改文章名

2016-07-23 修改了公式推导中的一个错误，修改了一个表述错误

❸ 神经网络应用分几个具体步骤

【问题解答】
BP神经网络算法步骤销运携
http://wenku..com/view/b75c5218b7360b4c2e3f64b4.html
BP神亏伏经网络在工悄森程项目管理中的应用
http://wenku..com/view/0de31434ee06eff9aef8072d.html

❹ 伤寒、副伤寒流行预测模型（BP神经网络）的建立

由于目前研究的各种数学模型或多或少存在使用条件的局限性，或使用方法的复杂性等问题，预测效果均不十分理想，距离实际应用仍有较大差距。NNT是Matlab 中较为重要的一个工具箱，在实际应用中，BP 网络用的最广泛。神经网络具有综合能力强，对数轮腔据的要求不高，适时学习等突出优点，其操作简便，节省时间，网络初学者即使不了解其算法的本质，也可以直接应用功能丰富的函数来实现自己的目的。因此，易于被基层单位预防工作者掌握和应用。以下几个问题是建立理想的因素与疾病之间的神经网络模型的关键：

（1）资料选取

应尽可能地选取所研究地区系统连续的因素与疾病资料，最好包括有疾病高发年和疾病低发年的数据。在收集影响因素时，要抓住主要影响伤寒、副伤寒的发病因素。

（2）疾病发病率分级

神经网络预测法是按发病率高低来进行预测，在定义发病率等级时，要结合专业知识及当地情况而定，并根据网络学习训练效果而适时调整，以使网络学习训练达到最佳效果。

（3）资料处理问题

在实践中发现，资料的特征往往很大程度地影响网络学习和训练槐铅的稳定性，因此，数据的应用、纳入、排出问题有待于进一步研究。

6.3.1 人工神经网络的基本原理

人工神经网络（ANN）是近年来发展起来的十分热门的交叉学科，它涉及生物、电子、计算机、数学和物理等学科，有着广泛的应用领域。人工神经网络是一种自适应的高度非线性动力系统，在网络计算的基础上，经过多次重复组合，能够完成多维空间的映射任务。神经网络通过内部连接的自组织结构，具有对数据的高度自适应能力，由计算机直接从实例中学习获取知识，探求解决问题的方法，自动建立起复杂系统的控制规律及其认知模型。

人工神经网络就其结构而言，一般包括输入层、隐含层和输出层，不同的神经网络可以有不同的隐含层数，但他们都只有一层输入和一层输出。神经网络的各层又由不同数目的神经元组成，各层神经元数目随解决问题的不同而有不同的神经元个数。

6.3.2 BP神经网络模型

BP网络是在1985年由PDP小组提出的反向传播算法的基础上发展起来的，是一种多层次反馈型网络（图6.17），它在输入和输出之间采用多层映射方式，网络按层排列，只有相邻层的节点直接相互连接，传递之间信息。在正向传播中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元的状态只影响下一层神经元的状态。如果输出层不能得到期望的输出结果，则转入反向传播，将误差信号沿原来的连同通路返回，通过修改各层神经元的权值，使误差信号最小。

BP网络的学习算法步骤如下（图6.18）：

图6.17 BP神经网络示意图

图6.18 BP算法流程图

第一步：设置初始参数ω和θ，（ω为初始权重，θ为临界值，均随机设为较小的数）。

第二步：将已知的样本加到网络上，利用下式可算出他们的输出值y_i，其值为

岩溶地区地下水与环境的特殊性研究

式中：x_i为该节点的输入；ω_ij为从I到j的联接权；θ_j为临界值；y_j为实际算出的输出数据。

第三步：将已知输出数据与上面算出的输出数据之差（d_j-y_j）调整权系数ω，调整量为

ΔW_ij=ηδ_jx_j

式中：η为比例系数；x_j为在隐节点为网络输入，在输出点则为下层（隐）节点的输出（j=1，2…，n）；d_j为已知的输出数据（学习样本训练数据）；δ_j为一个与输出偏差相关的值，对于输出节点来说有

δ_j=η_j（1-y_j）（d_j-y_j）

对于隐节点来说，由于它的输出无法进行比较，所以经过反向逐层计算有

岩溶地区地下水与环境的特殊性研究

其中k指要把上层（输出层）节点取遍。误差δ_j是从输出层反向逐层计算的。各神经元的权值调整后为

ω_ij（t）=ω_ij（t-1）+Vω_ij

式中：t为学习次数。

这个算法是一个迭代过程，每一轮将各W值调整一遍，这样一直迭代下去，知道输出误差小于某一允许值为止，这样一个好的网络就训练成功了，BP算法从本质上讲是把一组样本的输入输出问题变为一个非线铅桐好性优化问题，它使用了优化技术中最普遍的一种梯度下降算法，用迭代运算求解权值相当于学习记忆问题。

6.3.3 BP 神经网络模型在伤寒、副伤寒流行与传播预测中的应用

伤寒、副伤寒的传播与流行同环境之间有着一定的联系。根据桂林市1990年以来乡镇为单位的伤寒、副伤寒疫情资料，伤寒、副伤寒疫源地资料，结合现有资源与环境背景资料（桂林市行政区划、土壤、气候等）和社会经济资料（经济、人口、生活习惯等统计资料）建立人工神经网络数学模型，来逼近这种规律。

6.3.3.1 模型建立

（1）神经网络的BP算法

BP网络是一种前馈型网络，由1个输入层、若干隐含层和1个输出层构成。如果输入层、隐含层和输出层的单元个数分别为n，q₁，q₂，m，则该三层网络网络可表示为BP（n，q₁，q₂，m），利用该网络可实现n维输入向量X_n=（X₁，X₂，…，X_n）T到m维输出向量Y_m=（Y₁，Y₂，…，Y_m）T的非线性映射。输入层和输出层的单元数n，m根据具体问题确定。

（2）样本的选取

将模型的输入变量设计为平均温度、平均降雨量、岩石性质、岩溶发育、地下水类型、饮用水类型、正规自来水供应比例、集中供水比例8个输入因子（表6.29），输出单元为伤寒副伤寒的发病率等级，共一个输出单元。其中q₁，q₂的值根据训练结果进行选择。

表6.29 桂林市伤寒副伤寒影响因素量化表

通过分析，选取在伤寒副伤寒有代表性的县镇在1994～2001年的环境参评因子作为样本进行训练。利用聚类分析法对疫情进行聚类分级（Ⅰ、Ⅱ、Ⅲ、Ⅳ），伤寒副伤寒发病最高级为Ⅳ（BP网络中输出定为4），次之的为Ⅲ（BP网络中输出定为3），以此类推，最低为Ⅰ（BP网络中输出定为1）

（3）数据的归一化处理

为使网络在训练过程中易于收敛，我们对输入数据进行了归一化处理，并将输入的原始数据都化为0～1之间的数。如将平均降雨量的数据乘以0.0001；将平均气温的数据乘以0.01；其他输入数据也按类似的方法进行归一化处理。

（4）模型的算法过程

假设共有P个训练样本，输入的第p个（p=1，2，…，P）训练样本信息首先向前传播到隐含单元上。

经过激活函数f（u）的作用得到隐含层1的输出信息：

岩溶地区地下水与环境的特殊性研究

经过激活函数f（u）的作用得到隐含层2的输出信息：

岩溶地区地下水与环境的特殊性研究

激活函数f（u）我们这里采用Sigmoid型，即

f（u）=1/[1+exp（-u）]（6.5）

隐含层的输出信息传到输出层，可得到最终输出结果为

岩溶地区地下水与环境的特殊性研究

以上过程为网络学习的信息正向传播过程。

另一个过程为误差反向传播过程。如果网络输出与期望输出间存在误差，则将误差反向传播，利用下式来调节网络权重和阈值：

岩溶地区地下水与环境的特殊性研究

式中：Δω（t）为t次训练时权重和阈值的修正；η称为学习速率，0＜η＜1；E为误差平方和。

岩溶地区地下水与环境的特殊性研究

反复运用以上两个过程，直至网络输出与期望输出间的误差满足一定的要求。

该模型算法的缺点：

1）需要较长的训练时间。由于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。

2）完全不能训练。主要表现在网络出现的麻痹现象上，在网络的训练过程中，当其权值调的过大，可能使得所有的或大部分神经元的加权总和n偏大，这使得激活函数的输入工作在S型转移函数的饱和区，从而导致其导数f′（n）非常小，从而使得对网络权值的调节过程几乎停顿下来。

3）局部极小值。BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。这是因为BP算法采用的是梯度下降法，训练从某一起点沿误差函数的斜面逐渐达到误差的最小值。

考虑到以上算法的缺点，对模型进行了两方面的改进：

（1）附加动量法

为了避免陷入局部极小值，对模型进行了改进，应用了附加动量法。附加动量法在使网络修正及其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特性。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用则有可能滑过这些极小值。

该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生心的权值变化。促使权值的调节向着误差曲面底部的平均方向变化，从而防止了如Δω（t）=0的出现，有助于使网络从误差曲面的局部极小值中跳出。

这种方法主要是把式（6.7）改进为

岩溶地区地下水与环境的特殊性研究

式中：A为训练次数；a为动量因子，一般取0.95左右。

训练中对采用动量法的判断条件为

岩溶地区地下水与环境的特殊性研究

（2）自适应学习速率

对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。所以，为了尽量缩短网络所需的训练时间，采用了学习速率随着训练变化的方法来找到相对于每一时刻来说较差的学习速率。

下式给出了一种自适应学习速率的调整公式：

岩溶地区地下水与环境的特殊性研究

通过以上两个方面的改进，训练了一个比较理想的网络，将动量法和自适应学习速率结合起来，效果要比单独使用要好得多。

6.3.3.2 模型的求解与预测

采用包含了2个隐含层的神经网络BP（4，q₁，q₂，1），隐含层单元数q₁，q₂与所研究的具体问题有关，目前尚无统一的确定方法，通常根据网络训练情况采用试错法确定。在满足一定的精度要求下一般认小的数值，以改善网络的概括推论能力。在训练中网络的收敛采用输出值Y_kp与实测值t_p的误差平方和进行控制：

岩溶地区地下水与环境的特殊性研究

1）将附加动量法和自适应学习速率结合应用，分析桂林市36个乡镇地质条件各因素对伤寒副伤寒发病等级的影响。因此训练样本为36个，第一个隐含层有19个神经元，第二个隐含层有11个神经元，学习速率为0.001。

A.程序（略）。

B.网络训练。在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.19）。

图6.19 神经网络训练过程图

C.模型预测。

a.输入未参与训练的乡镇（洞井乡、两水乡、延东乡、四塘乡、严关镇、灵田乡）地质条件数据。

b.预测。程序运行后网络输出预测值a3，与已知的实际值进行比较，其预测结果整理后见（表6.30）。经计算，对6个乡镇伤寒副伤寒发病等级的预测符合率为83.3%。

表6.30 神经网络模型预测结果与实际结果比较

c.地质条件改进方案。在影响疾病发生的地质条件中，大部分地质条件是不会变化的，而改变发病地区的饮用水类型是可以人为地通过改良措施加以实施的一个因素。因此，以灵田乡为例对发病率较高的乡镇进行分析，改变其饮用水类型，来看发病等级的变化情况。

表6.31显示，在其他地质条件因素不变的情况下，改变当地的地下水类型（从原来的岩溶水类型改变成基岩裂隙水）则将发病等级从原来的最高级4级，下降为较低的2级，效果是十分明显的。因此，今后在进行伤寒副伤寒疾病防治的时候，可以通过改变高发区饮用水类型来客观上减少疫情的发生。

表6.31 灵田乡改变饮用水类型前后的预测结果

2）选取桂林地区1994～2000年月平均降雨量、月平均温度作为输入数据矩阵，进行样本训练，设定不同的隐含层单元数，对各月份的数据进行BP网络训练。在隐含层单元数q₁=13，q₂=9，经过46383次数的训练，误差达到精度要求，学习速率0.02。

A.附加动量法程序（略）。

B.网络训练。在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.20）。

C.模型预测。

a.输入桂林市2001年1～12月桂林市各月份的平均气温和平均降雨量。预测程度（略）。

b.预测。程序运行后网络输出预测值a2，与已知的实际值进行比较，其预测结果整理后见（表6.32）。经计算，对2001年1～12月伤寒副伤寒发病等级进行预测，12个预测结果中，有9个符合，符合率为75%。

图6.20 神经网络训练过程图

表6.32 神经网络模型预测结果与实际值比较

6.3.3.3 模型的评价

本研究采用BP神经网络对伤寒、副伤寒发病率等级进行定量预测，一方面引用数量化理论对不确定因素进行量化处理；另一方面利用神经网络优点，充分考虑各影响因素与发病率之间的非线性映射。

实际应用表明，神经网络定量预测伤寒、副伤寒发病率是理想的。

其主要优点有：

1）避免了模糊或不确定因素的分析工作和具体数学模型的建立工作。

2）完成了输入和输出之间复杂的非线性映射关系。

3）采用自适应的信息处理方式，有效减少人为的主观臆断性。

虽然如此，但仍存在以下缺点：

1）学习算法的收敛速度慢，通常需要上千次或更多，训练时间长。

2）从数学上看，BP算法有可能存在局部极小问题。

本模型具有广泛的应用范围，可以应用在很多领域。从上面的结果可以看出，实际和网络学习数据总体较为接近，演化趋势也基本一致。说明选定的气象因子、地质条件因素为神经单元获得的伤寒、副伤寒发病等级与实际等级比较接近，从而证明伤寒、副伤寒流行与地理因素的确存在较密切的相关性。

❺ 神经网络Kohonen模型

一、Kohonen模型概述

1981年芬兰赫尔辛基大学Kohonen教授提出了一个比较完整的，分类性能较好的自组织特征影射(Self-Organizing Feature Map)人工神经网络(简称SOM网络)方案。这种网络也称为Kohonen特征影射网络。

这种网络模拟大脑神经系统自组织特征影射功能，它是一种竞争式学习网络，在学习中能无监督地进行自组织学习。

二、Hohonen模型原理

1.概述

SOM网络由输入层和竞争层组成。输入层神经元数为N，竞争层由M=R×C神经元组成，构成一个二维平面阵列或一个一维阵列(R=1)。输入层和竞争层之间实现全互连接。

SOM网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并对那些与获胜神经元有关的各连接权朝着更有利于它竞争的方向调整，这一获胜神经元就表示对输入模式的分类。

SOM算法是一种无教师示教的聚类方法，它能将任意输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。即在无教师的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来。此外，网络通过对输入模式的反复学习，可以使连接权矢量空间分布密度与输入模式的概率分布趋于一致，即连接权矢量空间分布能反映输入模式的统计特征。

2.网络权值初始化

因为网络输入很可能出现在中间区，因此，如果竞争层的初始权值选择在输入空间的中间区，则其学习效果会更加有效。

3.邻域距离矩阵

SOM网络中的神经元可以按任何方式排列，这种排列可以用表示同一层神经元间的Manhattan距离的邻域距离矩阵D来描述，而两神经元的Manhattan距离是指神经元坐标相减后的矢量中，其元素绝对值之和。

4.Kohonen竞争学习规则

设SOM网络的输入模式为X_p=(

，

，…，

)，p=1，2.…，P。竞争层神经元的输出值为Y_j(j=1，2，…，M)，竞争层神经元j与输入层神经元之间的连接权矢量为

W_j=(w_j1，w_j2，…，w_jN)，j=1，2，…，M。

Kohonen网络自组织学习过程包括两个部分：一是选择最佳匹配神经元，二是权矢量自适应变化的更新过程。

确定输入模式X_p与连接权矢量W_j的最佳匹配的评价函数是两个矢量的欧氏距离最小，即

，j=1，2，…，M，]]

g，确定获胜神经元g。

d_g=m_jin(d_j)，j=1，2，…，M。

求输入模式X_p在竞争层的获胜神经元g及其在邻域距离nd内的神经元的输出。

中国矿产资源评价新技术与评价新模型

d_gm为邻域距离矩阵D的元素，为竞争层中获胜神经元g与竞争层中其它神经元的距离。

求输入模式X_p在竞争层的获胜神经元g及其在邻域距离nd内的神经元的权值修正值。

中国矿产资源评价新技术与评价新模型

式中：i=1，2，…，N；

lr为学习速率；

t为学习循环次数。

Δw_jt(t+1)的其余元素赋值为0。

进行连接权的调整

w_ji(t+1)=w_ji(t)+Δw_ji(t+1)。

5.权值学习中学习速率及邻域距离的更新

(1)SOM网络的学习过程分为两个阶段

第一阶段为粗学习与粗调整阶段。在这一阶段内，连接权矢量朝着输入模式的方向进行调整，神经元的权值按照期望的方向在适应神经元位置的输入空间建立次序，大致确定输入模式在竞争层中所对应的影射位置。一旦各输入模式在竞争层有了相对的影射位置后，则转入精学习与细调整阶段，即第二阶段。在这一阶段内，网络学习集中在对较小的范围内的连接权进行调整，神经元的权值按照期望的方向在输入空间伸展，直到保留到他们在粗调整阶段所建立的拓扑次序。

学习速率应随着学习的进行不断减小。

(2)邻域的作用与更新

在SOM网络中，脑神经细胞接受外界信息的刺激产生兴奋与抑制的变化规律是通过邻域的作用来体现的邻域规定了与获胜神经元g连接的权向量W_g进行同样调整的其他神经元的范围。在学习的最初阶段，邻域的范围较大，随着学习的深入进行，邻域的范围逐渐缩小。

(3)学习速率及邻域距离的更新

在粗调整阶段，

学习参数初始化

最大学习循环次数 MAX_STEP1=1000，

粗调整阶段学习速率初值 LR1=1.4，

细调整阶段学习速率初值 LR2=0.02，

最大邻域距离 MAX_ND1=Dmax，

Dmax为邻域距离矩阵D的最大元素值。

粗调阶段

学习循环次数step≤MAX_STEP1，

学习速率lr从LR1调整到LR2，

邻域距离nd 从MAX_ND1调整到1，

求更新系数r，

r=1-step/MAX_STEP1，

邻域距离nd更新，

nd=1.00001+(MAX_ND1-1)×r。

学习速率lr更新，

lr=LR2+(LR1-LR2)×r。

在细调整阶段，

学习参数初始化，

最大学习循环次数 MAX_STEP2=2000，

学习速率初值 LR2=0.02，

最大邻域距离 MAX_ND2=1。

细调阶段

MAX_STEP1＜step≤MAX_STEP1+MAX_STEP2，

学习速率lr慢慢从LR2减少，

邻域距离nd设为1，

邻域距离nd更新，

nd=MAX_ND2+0.00001。

学习速率lr更新，

lr=LR2×(MAX_STEP1/step)。

6.网络的回想——预测

SOM网络经学习后按照下式进行回想：

中国矿产资源评价新技术与评价新模型

Y_j=0，j=1，2，…，M，(j≠g)。

将需要分类的输入模式提供给网络的输入层，按照上述方法寻找出竞争层中连接权矢量与输入模式最接近的神经元，此时神经元有最大的激活值1，而其它神经元被抑制而取0值。这时神经元的状态即表示对输入模式的分类。

三、总体算法

1.SOM权值学习总体算法

(1)输入参数X[N][P]。

(2)构造权值矩阵W[M][N]。

1)由X[N][P]求Xmid[N]，

2)由Xmid[N]构造权值W[M][N]。

(3)构造竞争层。

1)求竞争层神经元数M，

2)求邻域距离矩阵D[M][M]，

3)求矩阵D[M][M]元素的最大值Dmax。

(4)学习参数初始化。

(5)学习权值W[M][N]。

1)学习参数学习速率lr，邻域距离nd更新，分两阶段：

(i)粗调阶段更新；

(ii)细调阶段更新。

2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(i)求X[N][p]与W[m][N]的欧氏距离dm；

(ii)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

3)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其在邻域距离nd内的神经元的输出Y[m][p]。

4)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其

在邻域距离nd内的神经元的权值修正值ΔW[m][N]，

从而得到输入模式X[N][p]产生的权值修正值ΔW[M][N]。

5)权值修正W[M][N]=W[M][N]+ΔW[M][N]。

6)学习结束条件：

(i)学习循环到MAX_STEP次；

(ii)学习速率lr达到用户指定的LR_MIN；

(iii)学习时间time达到用户指定的TIME_LIM。

(6)输出。

1)学习得到的权值矩阵W[M][N]；

2)邻域距离矩阵D[M][M]。

(7)结束。

2.SOM预测总体算法

(1)输入需分类数据X[N][P]，邻域距离矩阵D[M][M]。

(2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。

1)求X[N][p]与W[m][N]的欧氏距离dm；

2)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(3)求获胜神经元win[p]在竞争层排列的行列位置。

(4)输出与输入数据适应的获胜神经元win[p]在竞争层排列的行列位置，作为分类结果。

(5)结束。

四、总体算法流程图

Kohonen总体算法流程图见附图4。

五、数据流图

Kohonen数据流图见附图4。

六、无模式识别总体算法

假定有N个样品，每个样品测量M个变量，则有原始数据矩阵：

X=(x_ij)_N×M，i=1，2，…，N，j=1，2，…，M。

(1)原始数据预处理

X=(x_ij)_N×M处理为Z=(z_ij)_N×M，

分3种处理方法：

1)衬度；

2)标准化；

3)归一化。

程序默认用归一化处理。

(2)构造Kohonen网

竞争层与输入层之间的神经元的连接权值构成矩阵W_Q×M。

W_Q×M初始化。

(3)进入Kohonen网学习分类循环，用epoch记录循环次数，epoch=1。

(4)在每个epoch循环中，对每个样品n(n=1，2，…，N)进行分类。从1个样品n=1开始。

(5)首先计算输入层的样品n的输入数据z_nm(m=1，2，…，M)与竞争层Q个神经元对应权值w_qm的距离。

(6)寻找输入层的样品n与竞争层Q个神经元的最小距离，距离最小的神经元Win[n]为获胜神经元，将样品n归入获胜神经元Win[n]所代表的类型中，从而实现对样品n的分类。

(7)对样品集中的每一个样品进行分类：

n=n+1。

(如果n≤N，转到5。否则，转到8。)

(8)求分类后各神经元所对应的样品的变量的重心，用对应的样品的变量的中位数作为重心，用对应的样品的变量的重心来更新各神经元的连接权值。

(9)epoch=epoch+1；

一次学习分类循环结束。

(10)如果满足下列两个条件之一，分类循环结束，转到11；

否则，分类循环继续进行，转到4。

1)全部样品都固定在某个神经元上，不再改变了；

2)学习分类循环达到最大迭代次数。

(11)输出：

1)N个样品共分成多少类，每类多少样品，记录每类的样品编号；

2)如果某类中样品个数超过1个，则输出某类的样品原始数据的每个变量的均值、最小值、最大值和均方差；

3)如果某类中样品个数为1个，则输出某类的样品原始数据的各变量值；

4)输出原始数据每个变量(j=1，2，…，M)的均值，最小值，最大值和均方差。

(12)结束。

七、无模式识别总体算法流程图

Kohonen无模式总体算法流程图见附图5。

❻ BP神经算法是什么能给点既通俗易懂又比较详细的回答吗

BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。

BP神经网络算法是在BP神经网络现有算法的基础上提出的，是通过任意选定一组权值，将给定的目标输出直接作为线性方程的代数和来建立线性方程组，解得待求权，不存在传统方法的局部极小及收敛速度慢的问题，且更易理解。
1 传统的BP算法简述
BP算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下： （1）初始化，随机给定各连接权［w］,［v］及阀值θi，rt。 （2）由给定的输入输出模式对计算隐层、输出层各单元输出 bj＝f（■wijai-θj） ct＝f（■vjtbj－rt） 式中：bj为隐层第j个神经元实际输出；ct为输出层第t个神经元的实际输出；wij为输入层至隐层的连接权；vjt为隐层至输出层的连接权。 dtk＝（ytk－ct）ct（1－ct） ejk＝［■dtvjt］ bj（1－bj） 式中：dtk为输出层的校正误差；ejk为隐层的校正误差。 （3）计算新的连接权及阀值，计算公式如下： vjt（n＋1）＝vjt（n）＋?琢dtkbj wij（n＋1）＝wij（n）＋?茁ejkaik rt（n＋1）＝rt（n）＋?琢dtk θj（n＋1）=θj（n）＋?茁ejk 式中：?琢，?茁为学习系数（0＜?琢＜1，0＜?茁＜1）。 （4）选取下一个输入模式对返回第2步反复训练直到网络设输出误差达到要求结束训练。 传统的BP算法，实质上是把一组样本输入/输出问题转化为一个非线性优化问题，并通过负梯度下降算法，利用迭代运算求解权值问题的一种学习方法，但其收敛速度慢且容易陷入局部极小，为此提出了一种新的算法，即高斯消元法。
2 改进的BP网络算法
2．1 改进算法概述 此前有人提出：任意选定一组自由权，通过对传递函数建立线性方程组，解得待求权。本文在此基础上将给定的目标输出直接作为线性方程等式代数和来建立线性方程组，不再通过对传递函数求逆来计算神经元的净输出，简化了运算步骤。没有采用误差反馈原理，因此用此法训练出来的神经网络结果与传统算法是等效的。其基本思想是：由所给的输入、输出模式对通过作用于神经网络来建立线性方程组，运用高斯消元法解线性方程组来求得未知权值，而未采用传统BP网络的非线性函数误差反馈寻优的思想。 2．2 改进算法的具体步骤 对给定的样本模式对，随机选定一组自由权，作为输出层和隐含层之间固定权值，通过传递函数计算隐层的实际输出，再将输出层与隐层间的权值作为待求量，直接将目标输出作为等式的右边建立方程组来求解。 现定义如下符号（见图1）：x （p）输入层的输入矢量；y （p）输入层输入为x （p）时输出层的实际输出矢量；t （p）目标输出矢量；n，m，r分别为输入层、隐层和输出层神经元个数；W为隐层与输入层间的权矩阵；V为输出层与隐层间的权矩阵。具体步骤如下： （1）随机给定隐层和输入层间神经元的初始权值wij。 （2）由给定的样本输入xi（p）计算出隐层的实际输出aj（p）。为方便起见将图1网络中的阀值写入连接权中去，令：隐层阀值θj＝wnj，x（n）＝－1，则： aj（p）=f（■wijxi（p）） （j＝1，2…m－1）。 （3）计算输出层与隐层间的权值vjr。以输出层的第r个神经元为对象，由给定的输出目标值tr（p）作为等式的多项式值建立方程，用线性方程组表示为： a0（1）v1r+a1（1）v2r+…+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+…+am（2）vmr=tr（2） ……a0（p）v1r+a1（p）v2r+…+am（p）vmr=tr（p） 简写为： Av＝T 为了使该方程组有唯一解，方程矩阵A为非奇异矩阵，其秩等于其增广矩阵的秩，即：r（A）＝r（A┊B），且方程的个数等于未知数的个数，故取m＝p，此时方程组的唯一解为： Vr＝［v0r，v2r，…vmr］（r＝0，1，2…m－1） （4）重复第三步就可以求出输出层m个神经元的权值，以求的输出层的权矩阵加上随机固定的隐层与输入层的权值就等于神经网络最后训练的权矩阵。
3 计算机运算实例
现以神经网络最简单的XOR问题用VC编程运算进行比较（取神经网络结构为2－4－1型），传统算法和改进BP算法的误差（取动量因子α＝0．001 5，步长η＝1．653）

❼ 极端气温、降雨-洪水模型(BP神经网络)的建立

极端气温、降雨与洪水之间有一定的联系。根据1958～2007年广西西江流域极端气温、极端降雨和梧州水文站洪水数据，以第5章相关分析所确定的显着影响梧州水文站年最大流量的测站的相应极端气候因素(表4.22)为输入，建立人工神经网络模型。

4.5.1.1 BP神经网络概述

(1)基于BP算法的多层前馈网络模型

采用BP算法的多层前馈网络是至今为止应用最广泛的神经网络，在多层的前馈网的应用中，如图4.20所示的三层前馈网的应用最为普遍，其包括了输入层、隐层和输出层型凳。

图4.20 典型的三层BP神经网络结构

在正向传播中，输入信息从输入层经隐含层逐层处理，并传向输出层。如果输出层不能得到期望的输出结果，则转入反向传播，将误差信号沿原来的连同通路返回，通过修改各层神经元的权值，使得误差最小。BP算法流程如图4.21所示。

图4.21 BP算法流程图

容易看出，BP学习算法中，各层权值调整均由3个因素决定，即学习率、本层输出的误差信号以及本层输入信号y(或x)。其中，输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差，而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。

1988年，Cybenko指出两个隐含层就可表示输入图形的任意输出函数。如果BP网络只有两个隐层，且输入层、第一隐含层、第二隐层和输出层的单元个数分别为n，p，q，m，则该网络可表示为BP(n，p，q，m)。

(2)研究区极端气温、极端降雨影响年最大流量过程概化

极端气温、极端降雨影响年最大流量的过程极其复杂，从极端降雨到年最大流量，中间要经过蒸散发、分流、下渗等环节，受到地形、地貌、下垫面、土壤地质以及人类活动等多种因素的影响。可将一个极端气候-年最大流量间复杂的水过程概化为小尺度的水系统，该水系统的主要影响因子可通过对年最大流量影响显着的站点的极端气温和极端降雨体现出来，而其中影响不明显的站点可忽略，从而使问题得以简化。

BP神经网络是一个非线形系统，可用于逼近非线形映射关系，也可用于逼近一个极为复杂的函数关系。极端气候-年最大流量水系统是一个非常复杂的映射关系，可将之概化为一个系统。BP神经网络与研究流域的极端气候-年最大流量水系统的结构是相似的，利用BP神经网络，对之进行模拟逼近。

(3)隐含层单元数的确定

隐含层单元数q与所研究的具体问题有关，目前尚无统一的确定方法，通常根据网络训练情况采用试错法确定。在训练中网络的收敛采用输出值Y_kp与实测值t_p的误差平方和进行控制

变环境条件下的水资源保护与可持续利用研究

作者认为，虽然现今的BP神经网络还是一个黑箱模型，其参数没有水文物理意义，在本节的研究过程中，将尝试着利用极端气候空间分析的结果来指导隐含层神经元个数的选取。

(4)传递函数的选择

BP神经网络模型算法存在需要较长的训练时间、完全不能训练、易陷入局部极小值等缺点，可通过对模型附加动量项或设置自适应学习速率来改良。本节采用MATLAB工具箱中带有自适应学习速率进行反向传播训练的traingdm()函数来实现。

(5)模型数据的归一化处理

由于BP网络的输入层物理量及数值相差甚远，为了加快网络收敛的速度，使网络在训练过卜圆旅程中易于收敛，对输入数据进行归一化处理，即将输入的原始数据都化为0～1之间的数。本节将年极端最高气温的数据乘以0.01;将极端最低气温的数据乘以0.1;年最大1d、3d、7d降雨量的数据乘以0.001;梧州水文站年最大流量的数腔侍据乘以0.00001，其他输入数据也按类似的方法进行归一化处理。

(6)年最大流量的修正

梧州水文站以上的流域集水面积为32.70万km²，广西境内流域集水面积为20.24万km²，广西境内流域集水面积占梧州水文站以上的流域集水面积的61.91%。因此，选取2003～2007年梧州水文站年最大流量和红水河的天峨水文站年最大流量，分别按式4.10计算每年的贡献率(表4.25)，取其平均值作为广西西江流域极端降雨对梧州水文站年最大流量的平均贡献率，最后确定平均贡献率为76.88%。

变环境条件下的水资源保护与可持续利用研究

表4.25 2003～2007年极端降雨对梧州水文站年最大流量的贡献率

建立“年极端气温、降雨与梧州年最大流量模型”时，应把平均贡献率与梧州水文站年最大流量的乘积作为模型输入的修正年最大流量，而预测的年最大流量应该为输出的年最大流量除以平均贡献率76.88%，以克服极端气温和降雨研究范围与梧州水文站集水面积不一致的问题。

4.5.1.2年极端气温、年最大1d降雨与梧州年最大流量的BP神经网络模型

(1)模型的建立

以1958～1997年年极端最高气温、年极端最低气温、年最大1d降雨量与梧州水文站年最大流量作为学习样本拟合、建立“年极端气温、年最大1d降雨-梧州年最大流量BP神经网络模型”。以梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，榜圩、马陇、三门、黄冕、沙街、勾滩、天河、百寿、河池、贵港、金田、平南、大化、桂林、修仁、五将雨量站的年最大1d降雨量为输入，梧州水文站年最大流量为输出，隐含层层数取2，建立(19，p，q，1)BP神经网络模型，其中神经元数目p，q经试算分别取16和3，第一隐层、第二隐层的神经元采用tansig传递函数，输出层的神经元采用线性传递函数，训练函数选用traingdm，学习率取0.1，动量项取0.9，目标取0.0001，最大训练次数取200000。BP网络模型参数见表4.26，结构如图4.22所示。

图4.22年极端气温、年最大1d降雨-梧州年最大流量BP模型结构图

表4.26 BP网络模型参数一览表

从结构上分析，梧州水文站年最大流量产生过程中，年最高气温、年最低气温和各支流相应的流量都有其阈值，而极端气温和极端降雨是其输入，年最大流量是其输出，这类似于人工神经元模型中的阈值、激活值、输出等器件。输入年最大1d降雨时选用的雨量站分布在14条支流上(表4.27)，极端降雨发生后，流经14条支流汇入梧州，在这一过程中极端气温的变化影响极端降雨的蒸散发，选用的雨量站分布在年最大1d降雨四个自然分区的Ⅱ、Ⅲ、Ⅳ3个区。该过程可与BP神经网络结构进行类比(表4.28)，其中， 14条支流相当于第一隐含层中的14个神经元，年最高气温和年最低气温相当于第一隐含层中的2个神经元，年最大1d降雨所在的3个分区相当于第二隐含层的3个神经元，年最高气温、年最低气温的影响值和各支流流量的奉献值相当于隐含层中人工神经元的阈值，从整体上来说，BP神经网络的结构已经灰箱化。

表4.27 选用雨量站所在支流一览表

表4.28 BP神经网络构件物理意义一览表

(2)训练效果分析

训练样本为40个，经过113617次训练，达到精度要求。在命令窗口执行运行命令，网络开始学习和训练，其训练过程如图4.23所示，训练结果见表4.29和图4.24。

表4.29年最大流量训练结果

图4.23 神经网络训练过程图

图4.24年最大流量神经网络模型训练结果

从图4.26可知，训练后的BP网络能较好地逼近给定的目标函数。从训练样本检验结果(表4.5)可得:1958～1997年40年中年最大流量模拟值与实测值的相对误差小于10%和20%的分别为39年，40年，合格率为100%。说明“年极端气温、年最大1d降雨- 梧州年最大流量预测模型”的实际输出与实测结果误差很小，该模型的泛化能力较好，模拟结果较可靠。

(3)模型预测检验

把1998～2007年梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，榜圩、马陇、三门、黄冕、沙街、勾滩、天河、百寿、河池、贵港、金田、平南、大化、桂林、修仁、五将雨量站的年最大1d降雨量输入到“年极端气温、年最大1d降雨梧州年最大流量BP神经网络模型”。程序运行后网络输出预测值与已知的实际值进行比较，其预测检验结果见图4.25，表4.30。

图4.25年最大流量神经网络模型预测检验结果

表4.30 神经网络模型预测结果与实际结果比较

从预测检验结果可知:1998～2007年10年中年最大流量模拟值与实测值的相对误差小于20%的为9年，合格率为90%，效果较好。

4.5.1.3年极端气温、年最大7d降雨与梧州年最大流量的BP神经网络模型

(1)模型的建立

以1958～1997年年极端最高气温、年极端最低气温、年最大7d降雨量和梧州水文站年最大流量作为学习样本来拟合、建立“年极端气温、年最大7d降雨- 梧州年最大流量BP神经网络模型”。以梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，凤山、都安、马陇、沙街、大湟江口、大安、大化、阳朔、五将雨量站的年最大7d降雨量为输入，梧州水文站年最大流量为输出，隐含层层数取2，建立(12，p，q，1)BP神经网络模型，其中，神经元数目p，q经试算分别取10和4，第一隐层、第二隐层的神经元采用tansig传递函数，输出层的神经元采用线性传递函数，训练函数选用traingdm，学习率取0.1，动量项取0.9，目标取0.0001，最大训练次数取200000。BP网络模型参数见表4.31，结构如图4.26所示。

表4.31 BP网络模型参数一览表

图4.26年极端气温、年最大7d降雨-梧州年最大流量BP模型结构图

本节输入年最大7d降雨时选用的雨量站分布在8条支流上(表4.32)，在发生极端降雨后，流经8条支流汇入梧州，在这一过程中极端气温的变化影响极端降雨的蒸散发，且选用的雨量站分布在年最大7d降雨四个自然分区的Ⅰ、Ⅱ、Ⅲ、Ⅳ4个区中。该过程可与BP神经网络结构进行类比(表4.33)，其中，8条支流相当于第一隐含层中的8个神经元，年最高气温和年最低气温相当于第一隐含层中的2个神经元，年最大7d降雨所在的4个分区相当于第二隐含层的4个神经元，整体上来说，BP神经网络的结构已经灰箱化。

表4.32 选用雨量站所在支流一览表

表4.33 BP神经网络构件物理意义一览表

(2)训练效果分析

训练样本为40个，经过160876次的训练，达到精度要求，在命令窗口执行运行命令，网络开始学习和训练，其训练过程如图4.27所示，训练结果见表4.34，图4.28。

图4.27 神经网络训练过程图

表4.34年最大流量训练结果

图4.28年最大流量神经网络模型训练结果

从图4.28可知，训练后的BP网络能较好地逼近给定的目标函数。由训练样本检验结果(表4.34)可得:1958～1997年40年中年最大流量模拟值与实测值的相对误差小于10%和20%的，分别为38年、40年，合格率为100%。说明“年极端气温、年最大7d降雨-梧州年最大流量BP神经网络模型”的泛化能力较好，模拟的结果较可靠。

(3)模型预测检验

把1998～2007年梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，凤山、都安、马陇、沙街、大湟江口、大安、大化、阳朔、五将雨量站的年最大7d降雨量输入到“年极端气温、年最大7d降雨- 梧州年最大流量BP神经网络模型”。程序运行后网络输出预测值与已知的实际值进行比较，其预测结果见图4.29和表4.35。

图4.29年最大流量神经网络模型预测检验结果

表4.35 神经网络模型预测结果与实际结果比较

由预测检验结果可知:1998～2007年10年中年最大流量模拟值与实测值的相对误差小于20%的为7年，合格率为70%，效果较好。

4.5.1.4 梧州年最大流量-年最高水位的BP神经网络模型

(1)模型的建立

以1941～1997年梧州水文站的年最大流量与年最高水位作为学习样本来拟合、建立梧州水文站的“年最大流量-年最高水位BP神经网络模型”。以年最大流量为输入，年最高水位为输出，隐含层层数取1，建立(1，q，1)BP神经网络模型，其中，神经元数目q经试算取7，隐含层、输出层的神经元采用线性传递函数，训练函数选用traingdm，学习率取0.1，动量项取0.9，目标取0.00001，最大训练次数取200000。BP网络模型参数见表4.36，结构如图4.30所示。

表4.36 BP网络模型参数一览表

图4.30 梧州年最大流量—年最高水位BP模型结构图

广西西江流域主要河流有南盘江、红水河、黔浔江、郁江、柳江、桂江、贺江。7条主要河流相当于隐含层中的7个神经元(表4.37)，整体上来说，BP神经网络的结构已经灰箱化。

表4.37 BP神经网络构件物理意义一览表

(2)训练效果分析

训练样本为57个，经过3327次训练，误差下降梯度已达到最小值，但误差为3.00605×10^-5，未达到精度要求。在命令窗口执行运行命令，网络开始学习和训练，其训练过程如图4.31所示，训练结果见图4.32和表4.38。

表4.38年最高水位训练结果

从图4.32和表4.19可看出，训练后的BP网络能较好地逼近给定的目标函数。对于训练样本，从检验结果可知:1941～1997年57年中年最高水位模拟值与实测值的相对误差小于10%和20%的分别为56a，57a，合格率为100%。说明“年最大流量-年最高水位BP神经网络模型”的实际输出与实测结果误差很小，该模型的泛化能力较好，模拟的结果比较可靠。

图4.31 神经网络训练过程图

图4.32年最高水位神经网络模型训练结果

(3)模型预测检验

把1998～2007年梧州水文站年最大流量输入到“年最大流量-年最高水位BP神经网络模型”。程序运行后网络输出预测值与已知的实际值进行比较，其预测结果见图4.33，表4.39。

表4.39 神经网络模型预测结果与实际结果比较

从预测检验结果可知:1998～2007年10年中，年最高水位模拟值与实测值的相对误差小于20%的为10年，合格率为100%，效果较好。

图4.33年最高水位量神经网络模型预测检验结果

❽ 神经网络（Neural Network）

（1）结构：许多树突（dendrite）用于输入，一个轴突 （axon）用于输出。

（2）特性：兴奋性和传导性。兴奋性是指当信号量超过某个阈值时，细胞体就会被激活，产生电脉冲。传导性是指电脉冲沿着轴突并通过突触传递到其它神经元。

（3）有两种状态的机器：激活时为“是”，不激活时为“否”。神经细胞的状态取决于从其他神经细胞接收到的信号量，以及突触的性质（抑制或加强）。

（1）神经元——不重要

① 神经元是包含权重和偏置项的 函数 ：接收数据后，执行一些计算，然后使用激活函数将数据限制在一个范围内（多数情况下）。

② 单个神经元：线性可分的情况下，本质是一条直线， ，这条直线将数据划分为两类。而线性分类器本身就是一个单层神经网络。

③ 神经网络：非线性可分的情况下，神经网络通过多个隐层的方法来实现非线性的函数。

（2）权重/参数/连接（Weight）——最重要

每一个连接上都有一个权重。一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。

（3）偏置项（Bias Units）——必须

① 如果没有偏置项，所有的函数都会经过原点。

② 正则化偏置会导致欠拟合：若对偏置正则化，会烂猛导致激活变得更加简单，偏差就会上升，学习的能力就会下降。

③ 偏置的大小度量了神经元产生激励（激活）的难易程度。

（1）定义：也称为转换函数，是一种将输入 (input) 转成输出 (output) 的函数。

（2）作用：一般直线拟合的精确度要比曲线差很多，引入激活嫌亏函数能给神经网络 增加一些非线性 的特性。

（3）性质：

① 非线性：导数不是常数，否则就退化成直线。对于一些画一条直线仍然无法分开的问题，非线性可以把直线变弯，就能包罗万象；

② 可微性：当优化方法是基于梯度的时候，处处可导为后向传播算法提供了核心芹历神条件；

③ 输出范围：一般限定在[0,1]，使得神经元对一些比较大的输入会比较稳定；

④ 非饱和性：饱和就是指，当输入比较大的时候输出几乎没变化，会导致梯度消失；

⑤ 单调性：导数符号不变，输出不会上蹿下跳，让神经网络训练容易收敛。

（1）线性函数 (linear function)—— purelin()

（2）符号函数 (sign function)—— hardlim() 

① 如果z值高于阈值，则激活设置为1或yes，神经元将被激活。

② 如果z值低于阈值，则激活设置为0或no，神经元不会被激活。

（3）对率函数 (sigmoid function)—— logsig()

① 优点：光滑S型曲线连续可导，函数阈值有上限。

② 缺点：❶ 函数饱和使梯度消失，两端梯度几乎为0，更新困难，做不深；

                ❷ 输出不是0中心，将影响梯度下降的运作，收敛异常慢；

                ❸ 幂运算相对来讲比较耗时

（4）双曲正切函数(hyperbolic tangent function)—— tansig()

① 优点：取值范围0中心化，防止了梯度偏差

② 缺点：梯度消失现象依然存在，但相对于sigmoid函数问题较轻

（5）整流线性单元 ReLU 函数(rectified linear unit)

① 优点：❶ 分段线性函数，它的非线性性很弱，因此网络做得很深；

                ❷ 由于它的线性、非饱和性， 对于随机梯度下降的收敛有巨大的加速作用；

② 缺点：❶ 当x<0，梯度都变成0，参数无法更新，也导致了数据多样化的丢失；

                ❷ 输出不是0中心

（6）渗漏型整流线性单元激活函数 Leaky ReLU 函数

① 优点：❶ 是为解决“ReLU死亡”问题的尝试，在计算导数时允许较小的梯度；

                ❷ 非饱和的公式，不包含指数运算，计算速度快。

② 缺点：❶ 无法避免梯度爆炸问题； （没有体现优于ReLU）

                ❷ 神经网络不学习 α 值。

（7）指数线性单元 ELU (Exponential Linear Units)

① 优点：❶ 能避免“死亡 ReLU” 问题；

                ❷ 能得到负值输出，这能帮助网络向正确的方向推动权重和偏置变化；

                ❸ 在计算梯度时能得到激活，而不是让它们等于 0。

② 缺点：❶ 由于包含指数运算，所以计算时间更长；

                ❷ 无法避免梯度爆炸问题； （没有体现优于ReLU）

                ❸ 神经网络不学习 α 值。

（8）Maxout（对 ReLU 和 Leaky ReLU的一般化归纳）

① 优点：❶ 拥有ReLU的所有优点（线性和不饱和）

                ❷ 没有ReLU的缺点（死亡的ReLU单元）

                ❸ 可以拟合任意凸函数

② 缺点 ：参数数量增加了一倍。难训练，容易过拟合

（9）Swish

① 优点：❶ 在负半轴也有一定的不饱和区，参数的利用率更大

                ❷ 无上界有下界、平滑、非单调

                ❸ 在深层模型上的效果优于 ReLU

每个层都包含一定数量的单元（units）。增加层可增加神经网络输出的非线性。

（1）输入层：就是接收原始数据，然后往隐层送

（2）输出层：神经网络的决策输出

（3）隐藏层：神经网络的关键。把前一层的向量变成新的向量，让数据变得线性可分。

（1）结构：仅包含输入层和输出层，直接相连。

（2）作用：仅能表示 线性可分 函数或决策，且一定可以在有限的迭代次数中收敛。

（3）局限：可以建立与门、或门、非门等，但无法建立更为复杂的异或门（XOR），即两个输入相同时输出1，否则输出0。 （“AI winter”）

（1）目的：拟合某个函数      （两层神经网络可以逼近任意连续函数）

（2）结构：包含输入层、隐藏层和输出层 ，由于从输入到输出的过程中不存在与模型自身的反馈连接，因此被称为“前馈”。    （层与层之间全连接）

（3）作用： 非线性 分类、聚类、预测等，通过训练，可以学习到数据中隐含的知识。

（4）局限：计算复杂、计算速度慢、容易陷入局部最优解，通常要将它们与其他网络结合形成新的网络。

（5）前向传播算法（Forward Propagation）

① 方法：从左至右逐级依赖的算法模型，即网络如何根据输入X得到输出Y，最终的输出值和样本值作比较， 计算出误差 。

② 目的：完成了一次正反向传播，就完成了一次神经网络的训练迭代。通过输出层的误差，快速求解对每个ω、b的偏导，利用梯度下降法，使Loss越来越小。

② 局限：为使最终的误差达到最小，要不断修改参数值，但神经网络的每条连接线上都有不同权重参数，修改这些参数变得棘手。

（6）误差反向传播（Back Propagation）

① 原理：梯度下降法求局部极值

② 方法：从后往前，从输出层开始计算 L 对当前层的微分，获得各层的误差信号，此误差信号即作为修正单元权值的依据。计算结束以后，所要的两个参数矩阵的 梯度 就都有了。

③ 局限：如果激活函数是饱和的，带来的缺陷就是系统迭代更新变慢，系统收敛就慢，当然这是可以有办法弥补的，一种方法是使用 交叉熵函数 作为损失函数。

（1）原理：随着网络的层数增加，每一层对于前一层次的抽象表示更深入。在神经网络中，每一层神经元学习到的是前一层神经元值的更抽象的表示。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。

（2）方法：ReLU函数在训练多层神经网络时，更容易收敛，并且预测性能更好。

（3）优点：① 易于构建，表达能力强，基本单元便可扩展为复杂的非线性函数

                      ② 并行性号，有利于在分布是系统上应用

（4）局限：① 优化算法只能获得局部极值，性能与初始值相关

                      ② 调参理论性缺乏

                      ③ 不可解释，与实际任务关联性模糊

（1）原理：由手工设计卷积核变成自动学习卷积核

（2）卷积（Convolutional layer）： 输入与卷积核相乘再累加 （内积、加权叠加）

① 公式：

② 目的：提取输入的不同特征，得到维度很大的 特征图（feature map）

③ 卷积核：需要训练的参数。一般为奇数维，有中心像素点，便于定位卷积核

④ 特点：局部感知、参数变少、权重共享、分层提取

（3）池化（Pooling Layer）：用更高层的抽象表达来表示主要特征，又称“降采样”

① 分类： 最大 （出现与否）、平均（保留整体）、随机（避免过拟合）

② 目的：降维，不需要训练参数，得到新的、维度较小的特征

（4）步长（stride）：若假设输入大小是n∗n，卷积核的大小是f∗f，步长是s，则最后的feature map的大小为o∗o，其中

（5）填充（zero-padding）

① Full模式：即从卷积核（fileter）和输入刚相交开始做卷积，没有元素的部分做补0操作。

② Valid模式：卷积核和输入完全相交开始做卷积，这种模式不需要补0。

③ Same模式：当卷积核的中心C和输入开始相交时做卷积。没有元素的部分做补0操作。

（7）激活函数：加入非线性特征

（8）全连接层（Fully-connected layer）

如果说卷积层、池化层和激活函数层等是将原始数据映射到隐层特征空间（决定计算速度），全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用（决定参数个数）。

参考：

[1]  神经网络（入门最详细）_ruthy的博客-CSDN博客_神经网络算法入门

[2]  神经网络（容易被忽视的基础知识） - Evan的文章 - 知乎

[3]  人工神经网络——王的机器

[4]  如何简单形象又有趣地讲解神经网络是什么？ - 舒小曼的回答 - 知乎

[5]  神经网络15分钟入门！足够通俗易懂了吧 - Mr.括号的文章 - 知乎

[6]  神经网络——最易懂最清晰的一篇文章_illikang的博客-CSDN博客_神经网络

[7]  直觉化深度学习教程——什么是前向传播——CSDN

[8]  “反向传播算法”过程及公式推导（超直观好懂的Backpropagation）_aift的专栏-CSDN

[9]  卷积、反卷积、池化、反池化——CSDN

[10]  浙大机器学习课程- bilibili.com

❾ 神经网络BP模型

一、BP模型概述

误差逆传播(Error Back-Propagation)神经网络模型简称为BP(Back-Propagation)网络模型。

Pall Werbas博士于1974年在他的博士论文中提出了误差逆传播学习算法。完整提出并被广泛接受误差逆传播学习算法的是以Rumelhart和McCelland为首的科学家小组。他们在1986年出版“Parallel Distributed Processing，Explorations in the Microstructure of Cognition”(《并行分布信息处理》)一书中，对误差逆传播学习算法进行了详尽的分析与介绍，并对这一算法的潜在能力进行了深入探讨。

BP网络是一种具有3层或3层以上的阶层型神经网络。上、下层之间各神经元实现全连接，即下层的每一个神经元与上层的每一个神经元都实现权连接，而每一层各神经元之间无连接。网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，神经元的激活值从输入层经各隐含层向输出层传播，在输出层的各神经元获得网络的输入响应。在这之后，按减小期望输出与实际输出的误差的方向，从输入层经各隐含层逐层修正各连接权，最后回到输入层，故得名“误差逆传播学习算法”。随着这种误差逆传播修正的不断进行，网络对输入模式响应的正确率也不断提高。

BP网络主要应用于以下几个方面：

1)函数逼近：用输入模式与相应的期望输出模式学习一个网络逼近一个函数；

2)模式识别：用一个特定的期望输出模式将它与输入模式联系起来；

3)分类：把输入模式以所定义的合适方式进行分类；

4)数据压缩：减少输出矢量的维数以便于传输或存储。

在人工神经网络的实际应用中，80%～90%的人工神经网络模型采用BP网络或它的变化形式，它也是前向网络的核心部分，体现了人工神经网络最精华的部分。

二、BP模型原理

下面以三层BP网络为例，说明学习和应用的原理。

1.数据定义

P对学习模式(x_p，d_p)，p=1，2，…，P；

输入模式矩阵X[N][P]=(x₁，x₂，…，x_P)；

目标模式矩阵d[M][P]=(d₁，d₂，…，d_P)。

三层BP网络结构

输入层神经元节点数S0=N，i=1，2，…，S0；

隐含层神经元节点数S1，j=1，2，…，S1；

神经元激活函数f1[S1]；

权值矩阵W1[S1][S0]；

偏差向量b1[S1]。

输出层神经元节点数S2=M，k=1，2，…，S2；

神经元激活函数f2[S2]；

权值矩阵W2[S2][S1]；

偏差向量b2[S2]。

学习参数

目标误差ϵ；

初始权更新值Δ₀；

最大权更新值Δ_max；

权更新值增大倍数η⁺；

权更新值减小倍数η^-。

2.误差函数定义

对第p个输入模式的误差的计算公式为

中国矿产资源评价新技术与评价新模型

y2_kp为BP网的计算输出。

3.BP网络学习公式推导

BP网络学习公式推导的指导思想是，对网络的权值W、偏差b修正，使误差函数沿负梯度方向下降，直到网络输出误差精度达到目标精度要求，学习结束。

各层输出计算公式

输入层

y0_i=x_i，i=1，2，…，S0；

隐含层

中国矿产资源评价新技术与评价新模型

y1_j=f1(z1_j)，

j=1，2，…，S1；

输出层

中国矿产资源评价新技术与评价新模型

y2_k=f2(z2_k)，

k=1，2，…，S2。

输出节点的误差公式

中国矿产资源评价新技术与评价新模型

对输出层节点的梯度公式推导

中国矿产资源评价新技术与评价新模型

E是多个y2_m的函数，但只有一个y2_k与w_kj有关，各y2_m间相互独立。

其中

中国矿产资源评价新技术与评价新模型

则

中国矿产资源评价新技术与评价新模型

设输出层节点误差为

δ2_k=(d_k-y2_k)·f2′(z2_k)，

则

中国矿产资源评价新技术与评价新模型

同理可得

中国矿产资源评价新技术与评价新模型

对隐含层节点的梯度公式推导

中国矿产资源评价新技术与评价新模型

E是多个y2_k的函数，针对某一个w1_ji，对应一个y1_j，它与所有的y2_k有关。因此，上式只存在对k的求和，其中

中国矿产资源评价新技术与评价新模型

则

中国矿产资源评价新技术与评价新模型

设隐含层节点误差为

中国矿产资源评价新技术与评价新模型

则

中国矿产资源评价新技术与评价新模型

同理可得

中国矿产资源评价新技术与评价新模型

4.采用弹性BP算法(RPROP)计算权值W、偏差b的修正值ΔW，Δb

1993年德国 Martin Riedmiller和Heinrich Braun 在他们的论文“A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm”中，提出Resilient Backpropagation算法——弹性BP算法(RPROP)。这种方法试图消除梯度的大小对权步的有害影响，因此，只有梯度的符号被认为表示权更新的方向。

权改变的大小仅仅由权专门的“更新值”

确定

中国矿产资源评价新技术与评价新模型

其中

表示在模式集的所有模式(批学习)上求和的梯度信息，(t)表示t时刻或第t次学习。

权更新遵循规则：如果导数是正(增加误差)，这个权由它的更新值减少。如果导数是负，更新值增加。

中国矿产资源评价新技术与评价新模型

RPROP算法是根据局部梯度信息实现权步的直接修改。对于每个权，我们引入它的

各自的更新值

，它独自确定权更新值的大小。这是基于符号相关的自适应过程，它基

于在误差函数E上的局部梯度信息，按照以下的学习规则更新

中国矿产资源评价新技术与评价新模型

其中0＜η^-＜1＜η⁺。

在每个时刻，如果目标函数的梯度改变它的符号，它表示最后的更新太大，更新值

应由权更新值减小倍数因子η^-得到减少；如果目标函数的梯度保持它的符号，更新值应由权更新值增大倍数因子η⁺得到增大。

为了减少自由地可调参数的数目，增大倍数因子η⁺和减小倍数因子η^–被设置到固定值

η⁺=1.2，

η^-=0.5，

这两个值在大量的实践中得到了很好的效果。

RPROP算法采用了两个参数：初始权更新值Δ₀和最大权更新值Δ_max

当学习开始时，所有的更新值被设置为初始值Δ₀，因为它直接确定了前面权步的大小，它应该按照权自身的初值进行选择，例如，Δ₀=0.1(默认设置)。

为了使权不至于变得太大，设置最大权更新值限制Δ_max，默认上界设置为

Δ_max=50.0。

在很多实验中，发现通过设置最大权更新值Δ_max到相当小的值，例如

Δ_max=1.0。

我们可能达到误差减小的平滑性能。

5.计算修正权值W、偏差b

第t次学习，权值W、偏差b的的修正公式

W^(t)=W^(t-1)+ΔW^(t)，

b^(t)=b^(t-1)+Δb^(t)，

其中，t为学习次数。

6.BP网络学习成功结束条件每次学习累积误差平方和

中国矿产资源评价新技术与评价新模型

每次学习平均误差

中国矿产资源评价新技术与评价新模型

当平均误差MSE＜ε，BP网络学习成功结束。

7.BP网络应用预测

在应用BP网络时，提供网络输入给输入层，应用给定的BP网络及BP网络学习得到的权值W、偏差b，网络输入经过从输入层经各隐含层向输出层的“顺传播”过程，计算出BP网的预测输出。

8.神经元激活函数f

线性函数

f(x)=x，

f′(x)=1，

f(x)的输入范围(-∞，+∞)，输出范围(-∞，+∞)。

一般用于输出层，可使网络输出任何值。

S型函数S(x)

中国矿产资源评价新技术与评价新模型

f(x)的输入范围(-∞，+∞)，输出范围(0，1)。

f′(x)=f(x)[1-f(x)]，

f′(x)的输入范围(-∞，+∞)，输出范围(0，

]。

一般用于隐含层，可使范围(-∞，+∞)的输入，变成(0，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。

在用于模式识别时，可用于输出层，产生逼近于0或1的二值输出。

双曲正切S型函数

中国矿产资源评价新技术与评价新模型

f(x)的输入范围(-∞，+∞)，输出范围(-1，1)。

f′(x)=1-f(x)·f(x)，

f′(x)的输入范围(-∞，+∞)，输出范围(0，1]。

一般用于隐含层，可使范围(-∞，+∞)的输入，变成(-1，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。

阶梯函数

类型1

中国矿产资源评价新技术与评价新模型

f(x)的输入范围(-∞，+∞)，输出范围{0，1}。

f′(x)=0。

类型2

中国矿产资源评价新技术与评价新模型

f(x)的输入范围(-∞，+∞)，输出范围{-1，1}。

f′(x)=0。

斜坡函数

类型1

中国矿产资源评价新技术与评价新模型

f(x)的输入范围(-∞，+∞)，输出范围[0，1]。

中国矿产资源评价新技术与评价新模型

f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。

类型2

中国矿产资源评价新技术与评价新模型

f(x)的输入范围(-∞，+∞)，输出范围[-1，1]。

中国矿产资源评价新技术与评价新模型

f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。

三、总体算法

1.三层BP网络(含输入层，隐含层，输出层)权值W、偏差b初始化总体算法

(1)输入参数X[N][P]，S₀，S₁，f₁[S₁]，S₂，f₂[S₂]；

(2)计算输入模式X[N][P]各个变量的最大值，最小值矩阵 X_max[N]，X_min[N]；

(3)隐含层的权值W₁，偏差b₁初始化。

情形1：隐含层激活函数f( )都是双曲正切S型函数

1)计算输入模式X[N][P]的每个变量的范围向量X_rng[N]；

2)计算输入模式X的每个变量的范围均值向量X_mid[N]；

3)计算W，b的幅度因子W_mag；

4)产生[-1，1]之间均匀分布的S₀×1维随机数矩阵R_and[S₁]；

5)产生均值为0，方差为1的正态分布的S₁×S₀维随机数矩阵Randnr[S₁][S₀]，随机数范围大致在[-1，1]；

6)计算W[S₁][S₀]，b[S₁]；

7)计算隐含层的初始化权值W₁[S₁][S₀]；

8)计算隐含层的初始化偏差b₁[S₁]；

9))输出W₁[S₁][S₀]，b₁[S₁]。

情形2：隐含层激活函数f( )都是S型函数

1)计算输入模式X[N][P]的每个变量的范围向量X_rng[N]；

2)计算输入模式X的每个变量的范围均值向量X_mid[N]；

3)计算W，b的幅度因子W_mag；

4)产生[-1，1]之间均匀分布的S₀×1维随机数矩阵R_and[S₁]；

5)产生均值为0，方差为1的正态分布的S₁×S₀维随机数矩阵R_andnr[S₁][S₀]，随机数范围大致在[-1，1]；

6)计算W[S₁][S₀]，b[S₁]；

7)计算隐含层的初始化权值W₁[S₁][S₀]；

8)计算隐含层的初始化偏差b₁[S₁]；

9)输出W₁[S₁][S₀]，b₁[S₁]。

情形3：隐含层激活函数f( )为其他函数的情形

1)计算输入模式X[N][P]的每个变量的范围向量X_rng[N]；

2)计算输入模式X的每个变量的范围均值向量X_mid[N]；

3)计算W，b的幅度因子W_mag；

4)产生[-1，1]之间均匀分布的S₀×1维随机数矩阵R_and[S₁]；

5)产生均值为0，方差为1的正态分布的S₁×S₀维随机数矩阵R_andnr[S₁][S₀]，随机数范围大致在[-1，1]；

6)计算W[S₁][S₀]，b[S₁]；

7)计算隐含层的初始化权值W₁[S₁][S₀]；

8)计算隐含层的初始化偏差b₁[S₁]；

9)输出W₁[S₁][S₀]，b₁[S₁]。

(4)输出层的权值W₂，偏差b₂初始化

1)产生[-1，1]之间均匀分布的S₂×S₁维随机数矩阵W₂[S₂][S₁]；

2)产生[-1，1]之间均匀分布的S₂×1维随机数矩阵b₂[S₂]；

3)输出W₂[S₂][S₁]，b₂[S₂]。

2.应用弹性BP算法(RPROP)学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b总体算法

函数：Train3BP_RPROP(S₀，X，P，S₁，W₁，b₁，f₁，S₂，W₂，b₂，f₂，d，TP)

(1)输入参数

P对模式(x_p，d_p)，p=1，2，…，P；

三层BP网络结构；

学习参数。

(2)学习初始化

1)

；

2)各层W，b的梯度值

，

初始化为零矩阵。

(3)由输入模式X求第一次学习各层输出y₀，y₁，y₂及第一次学习平均误差MSE

(4)进入学习循环

epoch=1

(5)判断每次学习误差是否达到目标误差要求

如果MSE＜ϵ，

则，跳出epoch循环，

转到(12)。

(6)保存第epoch-1次学习产生的各层W，b的梯度值

，

(7)求第epoch次学习各层W，b的梯度值

，

1)求各层误差反向传播值δ；

2)求第p次各层W，b的梯度值

，

；

3)求p=1，2，…，P次模式产生的W，b的梯度值

，

的累加。

(8)如果epoch=1，则将第epoch-1次学习的各层W，b的梯度值

，

设为第epoch次学习产生的各层W，b的梯度值

，

。

(9)求各层W，b的更新

1)求权更新值Δ_ij更新；

2)求W，b的权更新值

，

；

3)求第epoch次学习修正后的各层W，b。

(10)用修正后各层W、b，由X求第epoch次学习各层输出y₀，y₁，y₂及第epoch次学习误差MSE

(11)epoch=epoch+1，

如果epoch≤MAX_EPOCH，转到(5)；

否则，转到(12)。

(12)输出处理

1)如果MSE＜ε，

则学习达到目标误差要求，输出W₁，b₁，W₂，b₂。

2)如果MSE≥ε，

则学习没有达到目标误差要求，再次学习。

(13)结束

3.三层BP网络(含输入层，隐含层，输出层)预测总体算法

首先应用Train3lBP_RPROP( )学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b，然后应用三层BP网络(含输入层，隐含层，输出层)预测。

函数：Simu3lBP( )。

1)输入参数：

P个需预测的输入数据向量x_p，p=1，2，…，P；

三层BP网络结构；

学习得到的各层权值W、偏差b。

2)计算P个需预测的输入数据向量x_p(p=1，2，…，P)的网络输出 y₂[S₂][P]，输出预测结果y₂[S₂][P]。

四、总体算法流程图

BP网络总体算法流程图见附图2。

五、数据流图

BP网数据流图见附图1。

六、实例

实例一 全国铜矿化探异常数据BP 模型分类

1.全国铜矿化探异常数据准备

在全国铜矿化探数据上用稳健统计学方法选取铜异常下限值33.1，生成全国铜矿化探异常数据。

2.模型数据准备

根据全国铜矿化探异常数据，选取7类33个矿点的化探数据作为模型数据。这7类分别是岩浆岩型铜矿、斑岩型铜矿、矽卡岩型、海相火山型铜矿、陆相火山型铜矿、受变质型铜矿、海相沉积型铜矿，另添加了一类没有铜异常的模型(表8-1)。

3.测试数据准备

全国化探数据作为测试数据集。

4.BP网络结构

隐层数2，输入层到输出层向量维数分别为14，9、5、1。学习率设置为0.9，系统误差1e-5。没有动量项。

表8-1 模型数据表

续表

5.计算结果图

如图8-2、图8-3。

图8-2

图8-3 全国铜矿矿床类型BP模型分类示意图

实例二 全国金矿矿石量品位数据BP 模型分类

1.模型数据准备

根据全国金矿储量品位数据，选取4类34个矿床数据作为模型数据，这4类分别是绿岩型金矿、与中酸性浸入岩有关的热液型金矿、微细浸染型型金矿、火山热液型金矿(表8-2)。

2.测试数据准备

模型样本点和部分金矿点金属量、矿石量、品位数据作为测试数据集。

3.BP网络结构

输入层为三维，隐层1层，隐层为三维，输出层为四维，学习率设置为0.8，系统误差1e-4，迭代次数5000。

表8-2 模型数据

4.计算结果

结果见表8-3、8-4。

表8-3 训练学习结果

表8-4 预测结果(部分)

续表

❿ 神经网络的具体算法

神经网络和粗集理论是智能信息处理的两种重要的方法,其任务是从大量观察和实验数据中获取知识、表达知识和推理决策规则。粗集理论是基于不可分辩性思想和知识简化方法,从数据中推理逻辑规则,适合于数据简化、数据相关性查找、发现数据模式、从数据中提取规则等。神经网络是利用非线性映射的思想和并行处理方法,用神经网络本身的结构表达输入与输出关联知识的隐函数编码,具有较强的并行处理、逼近和分类能力。在处理不准确、不完整的知识方面,粗集理论和神经网络都显示出较强的适应能力,然而两者处理信息的方法是不同的,粗集方法模拟人类的抽象逻辑思维,神经网络方法模拟形象直觉思维,具有很强的互补性。
首先,通过粗集理论方法减少信息表达的属性数量,去掉冗余信息,使训练集简化,减少神经网络系统的复杂性和训练时间;其次利用神经网络优良的并行处理、逼近和分类能力来处理风险预警这类非线性问题,具有较强的容错能力;再次,粗集理论在简化知识的同时,很容易推理出决策规则,因而可以作为后续使用中的信息识别规则,将粗集得到的结果与神经网络得到的结果相比较,以便相互验证;最后,粗集理论的方法和结果简单易懂,而且以规则的形式给出,通过与神经网络结合,使神经网络也具有一定的解释能力。因此,粗集理论与神经网络融合方法具有许多优点,非常适合处理诸如企业战略风险预警这类非结构化、非线性的复杂问题。

关于输入的问题--输入模块。
这一阶段包括初始指标体系确定，根据所确定的指标体系而形成的数据采集系统及数据预处理。企业战略风险的初始评价指标如下：
企业外部因素：政治环境(法律法规及其稳定性)，经济环境（社会总体收入水平，物价水平，经济增长率），产业结构（进入产业障碍，竞争对手数量及集中程度），市场环境（市场大小）。
企业内部因素：企业盈利能力（销售利润率，企业利润增长率），产品竞争能力（产品销售率，市场占有率），技术开发能力（技术开发费比率，企业专业技术人才比重），资金筹措能力（融资率）,企业职工凝聚力（企业员工流动率），管理人才资源，信息资源；战略本身的风险因素（战略目标，战略重点，战略措施，战略方针）。
本文所建立的预警指标系统是针对普遍意义上的企业，当该指标系统运用于实际企业时，需要对具体指标进行适当的增加或减少。因为各个企业有其具体的战略目标、经营活动等特性。
计算处理模块。这一模块主要包括粗集处理部分和神经网络处理部分。
粗集处理阶段。根据粗集的简化规则及决策规则对数据进行约简，构造神经网络的初始结构，便于神经网络的训练。
企业战略风险分析需要解决的问题是在保证对战略风险状态评价一致的情况下,选择最少的特征集,以便减少属性维数、降低计算工作量和减少不确定因素的影响,粗集理论中的属性约简算法可以很好地解决这个问题。

然后是输出模块~
该模块是对将发生的战略风险问题发出警报。
按照战略风险大小强弱程度的不同，可将其分为三个层次。第一层次是轻微战略风险，是损失较小、后果不甚明显，对企业的战略管理活动不构成重要影响的各类风险。这类风险一般情况下无碍大局，仅对企业形成局部和微小的伤害。第二层次是一般战略风险，是损失适中、后果明显但不构成致命性威胁的各类风险。这类风险的直接后果使企业遭受一定损失，并对其战略管理的某些方面带来较大的不利影响或留有一定后遗症。第三层次是致命性战略风险，指损失较大，后果严重的风险。这类风险的直接后果往往会威胁企业的生存，导致重大损失，使之一时不能恢复或遭受破产。在实际操作中，每个企业应根据具体的状况，将这三个层次以具体的数值表现出来。

下面回答你的问题：

总的来说，神经网络输入的是初始指标体系；输出的是风险。

你所说的风险应该说属于输出范畴，具体等级分为三级:无警、轻警、重警，并用绿、黄、红三种颜色灯号表示。其中绿灯区表示企业综合指标所反映的实际运行值与目标值基本一致，运行良好;黄灯区表示企业综合指标所反映的实际运行值与目标值偏离较大，要引起企业的警惕。若采取一定的措施可转为绿灯区，若不重视可在短期内转为红灯区;红灯区则表示这种偏离超过企业接受的可能，并给企业带来整体性的重大损失。例如:销售利润率极低、资产负债率过高，资源配置不合理、缺乏发展后劲等，必须找出原因，继而采取有效措施，使企业的战略管理活动始终处于“安全”的状态。

希望以上答案能够帮到你，祝你好运~