逆學習演算法

① BP學習演算法是什麼類型的學習演算法它主要有哪些不足

BP演算法是由學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。

雖然BP演算法得到廣泛的應用，但它也存在不足，其主要表現在訓練過程不確定上，具體如下。

1，訓練時間較長。對於某些特殊的問題，運行時間可能需要幾個小時甚至更長，這主要是因為學習率太小所致，可以採用自適應的學習率加以改進。

2，完全不能訓練。訓練時由於權值調整過大使激活函數達到飽和，從而使網路權值的調節幾乎停滯。為避免這種情況，一是選取較小的初始權值，二是採用較小的學習率。

3，易陷入局部極小值。BP演算法可以使網路權值收斂到一個最終解，但它並不能保證所求為誤差超平面的全局最優解，也可能是一個局部極小值。

這主要是因為BP演算法所採用的是梯度下降法，訓練是從某一起始點開始沿誤差函數的斜面逐漸達到誤差的最小值，故不同的起始點可能導致不同的極小值產生，即得到不同的最優解。如果訓練結果未達到預定精度，常常採用多層網路和較多的神經元，以使訓練結果的精度進一步提高，但與此同時也增加了網路的復雜性與訓練時間。

4，「喜新厭舊」。訓練過程中，學習新樣本時有遺忘舊樣本的趨勢。

(1)逆學習演算法擴展閱讀：

BP演算法最早由Werbos於1974年提出，1985年Rumelhart等人發展了該理論。BP網路採用有指導的學習方式，其學習包括以下4個過程。

1，組成輸入模式由輸入層經過隱含層向輸出層的「模式順傳播」過程。

2，網路的期望輸出與實際輸出之差的誤差信號由輸出層經過隱含層逐層休整連接權的「誤差逆傳播」過程。

3，由「模式順傳播」與「誤差逆傳播」的反復進行的網路「記憶訓練」過程。

4，網路趨向收斂即網路的總體誤差趨向極小值的「學習收斂」過程。

② 什麼是網橋的向後學習法

向後學習法就是逆向學習法,透明網橋採用的演算法是逆向學習法(backward learning)。網橋按混雜的方式工作，故它能看見所連接的任一LAN上傳送的幀。查看源地址即可知道在哪個LAN上可訪問哪台機器，於是在散列表中添上一項。
當計算機和網橋加電、斷電或遷移時，網路的拓撲結構會隨之改變。為了處理動態拓撲問題，每當增加散列表項時，均在該項中註明幀的到達時間。每當目的地已在表中的幀到達時，將以當前時間更新該項。這樣，從表中每項的時間即可知道該機器最後幀到來的時間。網橋中有一個進程定期地掃描散列表，清除時間早於當前時間若干分鍾的全部表項。於是，如果從LAN上取下一台計算機，並在別處重新連到LAN上的話，那麼在幾分鍾內，它即可重新開始正常工作而無須人工干預。這個演算法同時也意味著，如果機器在幾分鍾內無動作，那麼發給它的幀將不得不散發，一直到它自己發送出一幀為止。

③ 20以內數的加減法有些什麼方法讓學生循序漸進地學習

一、口算教學的意義。

第一，有利於培養學生良好的計算能力。因為口算是筆算的基礎，口算熟練了，筆算才能過關。提高學生計算能力必須從口算抓起。

第二，有利於解決日常生活和生產勞動中簡單的計算問題。一些簡單的計算在許多情況下大都運用口算來進行。

第三，有利於發展兒童的智力。兒童在進行口算練習的時候，需要集中注意力，記著數目，選擇演算法，在頭腦中緊張地思維運算。因此口算教學能促進兒童的注意力、記憶力、邏輯思維能力的發展。

二、鼓勵學生獨立思考，提倡演算法的多樣化，但要注意優化。

由於學生學習的知識背景和認知能力的差異，面對同一個進位加法或退位減法的題目，不同的學生可能會有不同的解法。為讓每個學生在課堂的活動中都有不同程度的收獲，使他們都能得到個性價值的體現，教材對情境問題呈現的方式是先提出數學問題（或者由學生自己提出數學問題），然後安排學生進行獨立思考（或者小組討論）。對學生每一種思考的過程都呈現了幾種情況，以說明不同學生在解決問題中存在的不同解決方法。

新課程標准中明確提出要提倡演算法多樣化。所謂演算法就是指解決各種數學問題的程序與方法，具體包括運算的方法與解題策略。演算法多樣化是指解決各種數學總是的方法多樣化，即對同一個問題運用不同的方法來解決。

20以內進位加法的思考方法主要有以下幾種方法：

1、數數法。用數手指頭或畫點子逐一計數。

2、接數法。基本仍是數數法，只不過是在第一個數的基礎上再逐一計數。例如8+5，第一個數8不用數，接上去數8+1+1+1+1+1。

3、雙手助記法。差生可以用「雙手助記法」幫忙，一隻手錶示一個數，大姆指表示5，其他四指各表示1。例如7+6，按照規定伸出雙手，一看即知，7+6=13，經常練習後，學生看到算式，即在頭腦中呈現雙手的表象，藉助表象，學生便可以立即算出得數。這也可以說，是一個簡便的數學模型。這同數手指不同，數手指是逐一計數，水平較低，而「雙手助記法」屬於按群計算了，達到了高一級層次。

4、珠心算。是80幾歲高齡的數學教育家陳子鏡老先生創立的一種珠算和心算相結合的新演算法，其基本方法是藉助手形碼來計算，右手大姆指代表5，其餘每個手指代表1，左手每個指頭代表10。在計算中做到口、心腦並用。

5、湊十法。8+5=8+2+3=13，把第二個加數分解，與第一個加數湊十再算。

6、口訣法。在理解湊十法的基礎上，熟記加法口訣，直接報出結果8+5=13（八五13）。在教學中，我是主張要求學生熟記加法口訣的，20以內進位加法口訣只有20句，熟記起來並不困難。熟記以後，可以一生受用。熟記加法口訣不能要求學生死記硬背，可以利用數的組成的知識來幫助記憶。這四種方法也表示學生口算能力的四種水平。第1、2、3、4四種方法屬於計算的初級階段，嚴格講起來不能說是計算，僅是計數而已。學生停留在這四種水平上，只能依賴扳手指頭、數小棒、畫點子，不利於計算能力的發展。在教學10以內加、減法時，一定要使學生熟練掌握10以內進位加法，再過渡到口訣法。

20以內退位減法也是計算教學的難點。先分析一下口算20以內退位減法的幾種方法：

1、數數法。用數手指頭或畫點子逐一減法。例如12—4就用12—1—1—1—1計算。

2、破十法。用被減數的十位數先減去減數，再加上被減數的個位數。例如：12—4=10—4+2=8以前的小學數學課本都採用這種方法。

3、逆演算法。根據加、減法的互逆關系，用加法做減法，現在有些課本就採用這個方法。思維過程比「破十法」簡單，計算速度快，使用逆演算法要有個前提條件：必須熟練掌握20以內的進位加法。如果熟記加法口訣，對使用逆演算法更為有利，即用加法口訣做減法。例如：12—4=8想（八）四12這種方法在筆算減法中使用也方便，可以提高計算速度。

4、退十加補法。「補」是指「補數」，是指一個數湊滿十的數，如9的補數是1，8的補數是2，……用這種方法的思維過程如下：12—4＝12—10＋6＝8。

由此看來，學生的演算法的確存在著思維的差異性與層次性。顯然這幾種思維並不在同一層次上，不在同一層次上的演算法就應該提倡優化，而且必須優化，只是優化地過程是學生不斷體驗與感悟的過程，而不是教師強制的過程。當學生已經能夠藉助表象，甚至符號和邏輯思維進行思考時，為什麼一定要藉助小棒和計數器呢？長此以往學生的思維如何發展，不正是培養了他們的主觀意識嗎？鼓勵每位學生有自己獨特的演算法，並不等於他們可以滿足現狀，而拒絕學習新的、更有效的一般方法。教師應創設小組和全班交流的時機，通過對不同演算法特點對比，使學生學會怎樣去尋找最簡捷的解決問題的思路，使所學的知識融會貫通，在更高層次上有更深刻的認識、更概括性的理解，進一步地培養學生思維的深刻性與敏捷，從而提高思維質量，培養高水平的數學思維。我在教學中碰到這種類型的題目時，鼓勵學生演算法多樣化，但是不刻意地追求演算法多樣化。讓學生自己介紹解題方法，然後跟其他同學的方法進行比較，說說自己解法的優缺點，最後還多問一句：「你認為哪種最好？為什麼？」這樣的話，學生就會擇優錄用了。當然教師在肯定其中一種方法的時候，也要肯定其他方法的長處。教師只有正確理解演算法多樣化的內涵，從而進行有效地教學，讓每個學生都能在原有基礎上得到發展。讓學生從小就會「多中選優，擇優而用」這種思想方法正是對學生全面發展的負責。

三、採用多種練習方式，激發學生學習興趣。

20以內數的加減法是小學生學習數學運算的基礎知識，學好這部分知識對學生的後續學習將產生重大的影響。所以，讓每個學生學好這部分內容，使他們的計算逐步達到正確熟練，為提高學生練習的積極性，在口算練習中避免不必要的單調重復，可以設計多種練習形式，以啟發學生積極思維。如：填數字15—（ ）＝8 ；填運算符號5（ ）7＝12；填等號或不等號12－3（ ）11－2。

口算練習必須經常進行，持之以恆，才有成效。許多優秀教師在每堂課開始，用5分鍾左右時間進行口算基本訓練，這是一個好經驗。口算練習的方式一般有視算和聽算兩種。視算是學生看著卡片或教具上的式子計算；聽算是聽教師報式計算。聽算要求高，既要記住運算的數目，又要進行思維計算，因此數目不能過大，局限於基本口算。聽算在日常生活中用處較大，又能培養學生的注意力和記憶力，教學中應該重視聽算訓練。在教學中，也可以結合游戲的形式，如找朋友、對口令讓學生感到數學練習的趣味性、多樣性。

當然，教師在採用這些練習時要注意練習適度。因為，學生計算能力的發展是一個循序漸進的過程，所以，學生掌握20以內數的加減法比10內數的加減法要困難一些，存在一定的個體差異。對學習有困難的學生，應該允許他們有一個逐步提高的過程，在有條件的班級，教師也可以適當地設計一些適應這些特殊學生學習需要的練習題，給予他們具體的幫助，使他們樹立學好數學的自信心。

④ 透明網橋的逆向學習法

透明網橋採用的演算法是逆向學習法(backward learning)。網橋按混雜的方式工作，故它能看見所連接的任一LAN上傳送的幀。查看源地址即可知道在哪個LAN上可訪問哪台機器，於是在散列表中添上一項。
當計算機和網橋加電、斷電或遷移時，網路的拓撲結構會隨之改變。為了處理動態拓撲問題，每當增加散列表項時，均在該項中註明幀的到達時間。每當目的地已在表中的幀到達時，將以當前時間更新該項。這樣，從表中每項的時間即可知道該機器最後幀到來的時間。網橋中有一個進程定期地掃描散列表，清除時間早於當前時間若干分鍾的全部表項。於是，如果從LAN上取下一台計算機，並在別處重新連到LAN上的話，那麼在幾分鍾內，它即可重新開始正常工作而無須人工干預。這個演算法同時也意味著，如果機器在幾分鍾內無動作，那麼發給它的幀將不得不散發，一直到它自己發送出一幀為止。
到達幀的路由選擇過程取決於發送的LAN(源LAN)和目的地所在的LAN(目的LAN)，如下所示：
1、如果源LAN和目的LAN相同，則丟棄該幀。
2、如果源LAN和目的LAN不同，則轉發該幀。
3、如果目的LAN未知，則進行擴散。
為了提高可靠性，有人在LAN之間設置了並行的兩個或多個網橋，但是，這種配置引起了另外一些問題，因為在拓撲結構中產生了迴路，可能引發無限循環。

⑤ 矩陣的逆,的計算方法!

這種演算法就是在右邊加上一個單位矩陣E組成一個新矩陣，然後使用初等變換，當變換到新矩陣左半部分是單位矩陣的時候，右半部分就是原來矩陣的逆了。
1.0 2.0 3.0 1.0 0.0 0.0
2.0 2.0 1.0 0.0 1.0 0.0
3.0 4.0 3.0 0.0 0.0 1.0
可以變換到：
1.0 0.0 0.0 1.0 3.0 -2.0
0.0 1.0 0.0 -1.5 -3.0 2.5
0.0 0.0 1.0 1.0 1.0 -1.0

所以右邊就是他的逆。

要從理論上證明這個演算法的正確性不難，但是這里寫不出來。。。如果你需要的話留下郵箱，或者往我郵箱發信[email protected]

⑥ 什麼是逆演算法

逆演算法就是把一個像方程一樣有未知數但不用方程解。

⑦ 矩陣求逆的具體演算法

一，用公式：A逆等於A的行列式分之A的伴隨矩陣
二，用初等行變換法求逆，即（A，E）——>（E，A逆）

⑧ 誰會逆演算法的,易語言源碼,寫出演算法的逆演算法

看上去是rc4演算法吧 這個加密和解密是同一個演算法 不用逆 直接調用這個函數解密試試吧

⑨ 逆序數怎麼算

可使用直接計數法，計算一個排列的逆序數的直接方法是逐個枚舉逆序，同時統計個數。

舉個例子：

標准列是1 2 3 4 5，那麼 5 4 3 2 1 的逆序數演算法：

看第二個，4之前有一個5，在標准列中5在4的後面，所以記1個。

類似的，第三個 3 之前有 4 5 都是在標准列中3的後面，所以記2個。

同樣的，2 之前有3個，1之前有4個，將這些數加起來就是逆序數=1+2+3+4=10。

(9)逆學習演算法擴展閱讀：

在一個排列中，如果一對數的前後位置與大小順序相反，即前面的數大於後面的數，那麼它們就稱為一個逆序。一個排列中逆序的總數就稱為這個排列的逆序數。

也就是說，對於n個不同的元素，先規定各元素之間有一個標准次序（例如n個 不同的自然數，可規定從小到大為標准次序），於是在這n個元素的任一排列中，當某兩個元素的實際先後次序與標准次序不同時，就說有1個逆序。

⑩ 神經網路BP模型

一、BP模型概述

誤差逆傳播(Error Back-Propagation)神經網路模型簡稱為BP(Back-Propagation)網路模型。

Pall Werbas博士於1974年在他的博士論文中提出了誤差逆傳播學習演算法。完整提出並被廣泛接受誤差逆傳播學習演算法的是以Rumelhart和McCelland為首的科學家小組。他們在1986年出版「Parallel Distributed Processing，Explorations in the Microstructure of Cognition」(《並行分布信息處理》)一書中，對誤差逆傳播學習演算法進行了詳盡的分析與介紹，並對這一演算法的潛在能力進行了深入探討。

BP網路是一種具有3層或3層以上的階層型神經網路。上、下層之間各神經元實現全連接，即下層的每一個神經元與上層的每一個神經元都實現權連接，而每一層各神經元之間無連接。網路按有教師示教的方式進行學習，當一對學習模式提供給網路後，神經元的激活值從輸入層經各隱含層向輸出層傳播，在輸出層的各神經元獲得網路的輸入響應。在這之後，按減小期望輸出與實際輸出的誤差的方向，從輸入層經各隱含層逐層修正各連接權，最後回到輸入層，故得名「誤差逆傳播學習演算法」。隨著這種誤差逆傳播修正的不斷進行，網路對輸入模式響應的正確率也不斷提高。

BP網路主要應用於以下幾個方面：

1)函數逼近：用輸入模式與相應的期望輸出模式學習一個網路逼近一個函數；

2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯系起來；

3)分類：把輸入模式以所定義的合適方式進行分類；

4)數據壓縮：減少輸出矢量的維數以便於傳輸或存儲。

在人工神經網路的實際應用中，80%～90%的人工神經網路模型採用BP網路或它的變化形式，它也是前向網路的核心部分，體現了人工神經網路最精華的部分。

二、BP模型原理

下面以三層BP網路為例，說明學習和應用的原理。

1.數據定義

P對學習模式(x_p，d_p)，p=1，2，…，P；

輸入模式矩陣X[N][P]=(x₁，x₂，…，x_P)；

目標模式矩陣d[M][P]=(d₁，d₂，…，d_P)。

三層BP網路結構

輸入層神經元節點數S0=N，i=1，2，…，S0；

隱含層神經元節點數S1，j=1，2，…，S1；

神經元激活函數f1[S1]；

權值矩陣W1[S1][S0]；

偏差向量b1[S1]。

輸出層神經元節點數S2=M，k=1，2，…，S2；

神經元激活函數f2[S2]；

權值矩陣W2[S2][S1]；

偏差向量b2[S2]。

學習參數

目標誤差ϵ；

初始權更新值Δ₀；

最大權更新值Δ_max；

權更新值增大倍數η⁺；

權更新值減小倍數η^-。

2.誤差函數定義

對第p個輸入模式的誤差的計算公式為

中國礦產資源評價新技術與評價新模型

y2_kp為BP網的計算輸出。

3.BP網路學習公式推導

BP網路學習公式推導的指導思想是，對網路的權值W、偏差b修正，使誤差函數沿負梯度方向下降，直到網路輸出誤差精度達到目標精度要求，學習結束。

各層輸出計算公式

輸入層

y0_i=x_i，i=1，2，…，S0；

隱含層

中國礦產資源評價新技術與評價新模型

y1_j=f1(z1_j)，

j=1，2，…，S1；

輸出層

中國礦產資源評價新技術與評價新模型

y2_k=f2(z2_k)，

k=1，2，…，S2。

輸出節點的誤差公式

中國礦產資源評價新技術與評價新模型

對輸出層節點的梯度公式推導

中國礦產資源評價新技術與評價新模型

E是多個y2_m的函數，但只有一個y2_k與w_kj有關，各y2_m間相互獨立。

其中

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

設輸出層節點誤差為

δ2_k=(d_k-y2_k)·f2′(z2_k)，

則

中國礦產資源評價新技術與評價新模型

同理可得

中國礦產資源評價新技術與評價新模型

對隱含層節點的梯度公式推導

中國礦產資源評價新技術與評價新模型

E是多個y2_k的函數，針對某一個w1_ji，對應一個y1_j，它與所有的y2_k有關。因此，上式只存在對k的求和，其中

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

設隱含層節點誤差為

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

同理可得

中國礦產資源評價新技術與評價新模型

4.採用彈性BP演算法(RPROP)計算權值W、偏差b的修正值ΔW，Δb

1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文「A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm」中，提出Resilient Backpropagation演算法——彈性BP演算法(RPROP)。這種方法試圖消除梯度的大小對權步的有害影響，因此，只有梯度的符號被認為表示權更新的方向。

權改變的大小僅僅由權專門的「更新值」

確定

中國礦產資源評價新技術與評價新模型

其中

表示在模式集的所有模式(批學習)上求和的梯度信息，(t)表示t時刻或第t次學習。

權更新遵循規則：如果導數是正(增加誤差)，這個權由它的更新值減少。如果導數是負，更新值增加。

中國礦產資源評價新技術與評價新模型

RPROP演算法是根據局部梯度信息實現權步的直接修改。對於每個權，我們引入它的

各自的更新值

，它獨自確定權更新值的大小。這是基於符號相關的自適應過程，它基

於在誤差函數E上的局部梯度信息，按照以下的學習規則更新

中國礦產資源評價新技術與評價新模型

其中0＜η^-＜1＜η⁺。

在每個時刻，如果目標函數的梯度改變它的符號，它表示最後的更新太大，更新值

應由權更新值減小倍數因子η^-得到減少；如果目標函數的梯度保持它的符號，更新值應由權更新值增大倍數因子η⁺得到增大。

為了減少自由地可調參數的數目，增大倍數因子η⁺和減小倍數因子η^–被設置到固定值

η⁺=1.2，

η^-=0.5，

這兩個值在大量的實踐中得到了很好的效果。

RPROP演算法採用了兩個參數：初始權更新值Δ₀和最大權更新值Δ_max

當學習開始時，所有的更新值被設置為初始值Δ₀，因為它直接確定了前面權步的大小，它應該按照權自身的初值進行選擇，例如，Δ₀=0.1(默認設置)。

為了使權不至於變得太大，設置最大權更新值限制Δ_max，默認上界設置為

Δ_max=50.0。

在很多實驗中，發現通過設置最大權更新值Δ_max到相當小的值，例如

Δ_max=1.0。

我們可能達到誤差減小的平滑性能。

5.計算修正權值W、偏差b

第t次學習，權值W、偏差b的的修正公式

W^(t)=W^(t-1)+ΔW^(t)，

b^(t)=b^(t-1)+Δb^(t)，

其中，t為學習次數。

6.BP網路學習成功結束條件每次學習累積誤差平方和

中國礦產資源評價新技術與評價新模型

每次學習平均誤差

中國礦產資源評價新技術與評價新模型

當平均誤差MSE＜ε，BP網路學習成功結束。

7.BP網路應用預測

在應用BP網路時，提供網路輸入給輸入層，應用給定的BP網路及BP網路學習得到的權值W、偏差b，網路輸入經過從輸入層經各隱含層向輸出層的「順傳播」過程，計算出BP網的預測輸出。

8.神經元激活函數f

線性函數

f(x)=x，

f′(x)=1，

f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。

一般用於輸出層，可使網路輸出任何值。

S型函數S(x)

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。

f′(x)=f(x)[1-f(x)]，

f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，

]。

一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

在用於模式識別時，可用於輸出層，產生逼近於0或1的二值輸出。

雙曲正切S型函數

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。

f′(x)=1-f(x)·f(x)，

f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。

一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

階梯函數

類型1

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

f′(x)=0。

類型2

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。

f′(x)=0。

斜坡函數

類型1

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。

中國礦產資源評價新技術與評價新模型

f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

類型2

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。

中國礦產資源評價新技術與評價新模型

f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

三、總體演算法

1.三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b初始化總體演算法

(1)輸入參數X[N][P]，S₀，S₁，f₁[S₁]，S₂，f₂[S₂]；

(2)計算輸入模式X[N][P]各個變數的最大值，最小值矩陣 X_max[N]，X_min[N]；

(3)隱含層的權值W₁，偏差b₁初始化。

情形1：隱含層激活函數f( )都是雙曲正切S型函數

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣Randnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9))輸出W₁[S₁][S₀]，b₁[S₁]。

情形2：隱含層激活函數f( )都是S型函數

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣R_andnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9)輸出W₁[S₁][S₀]，b₁[S₁]。

情形3：隱含層激活函數f( )為其他函數的情形

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣R_andnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9)輸出W₁[S₁][S₀]，b₁[S₁]。

(4)輸出層的權值W₂，偏差b₂初始化

1)產生[-1，1]之間均勻分布的S₂×S₁維隨機數矩陣W₂[S₂][S₁]；

2)產生[-1，1]之間均勻分布的S₂×1維隨機數矩陣b₂[S₂]；

3)輸出W₂[S₂][S₁]，b₂[S₂]。

2.應用彈性BP演算法(RPROP)學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b總體演算法

函數：Train3BP_RPROP(S₀，X，P，S₁，W₁，b₁，f₁，S₂，W₂，b₂，f₂，d，TP)

(1)輸入參數

P對模式(x_p，d_p)，p=1，2，…，P；

三層BP網路結構；

學習參數。

(2)學習初始化

1)

；

2)各層W，b的梯度值

，

初始化為零矩陣。

(3)由輸入模式X求第一次學習各層輸出y₀，y₁，y₂及第一次學習平均誤差MSE

(4)進入學習循環

epoch=1

(5)判斷每次學習誤差是否達到目標誤差要求

如果MSE＜ϵ，

則，跳出epoch循環，

轉到(12)。

(6)保存第epoch-1次學習產生的各層W，b的梯度值

，

(7)求第epoch次學習各層W，b的梯度值

，

1)求各層誤差反向傳播值δ；

2)求第p次各層W，b的梯度值

，

；

3)求p=1，2，…，P次模式產生的W，b的梯度值

，

的累加。

(8)如果epoch=1，則將第epoch-1次學習的各層W，b的梯度值

，

設為第epoch次學習產生的各層W，b的梯度值

，

。

(9)求各層W，b的更新

1)求權更新值Δ_ij更新；

2)求W，b的權更新值

，

；

3)求第epoch次學習修正後的各層W，b。

(10)用修正後各層W、b，由X求第epoch次學習各層輸出y₀，y₁，y₂及第epoch次學習誤差MSE

(11)epoch=epoch+1，

如果epoch≤MAX_EPOCH，轉到(5)；

否則，轉到(12)。

(12)輸出處理

1)如果MSE＜ε，

則學習達到目標誤差要求，輸出W₁，b₁，W₂，b₂。

2)如果MSE≥ε，

則學習沒有達到目標誤差要求，再次學習。

(13)結束

3.三層BP網路(含輸入層，隱含層，輸出層)預測總體演算法

首先應用Train3lBP_RPROP( )學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b，然後應用三層BP網路(含輸入層，隱含層，輸出層)預測。

函數：Simu3lBP( )。

1)輸入參數：

P個需預測的輸入數據向量x_p，p=1，2，…，P；

三層BP網路結構；

學習得到的各層權值W、偏差b。

2)計算P個需預測的輸入數據向量x_p(p=1，2，…，P)的網路輸出 y₂[S₂][P]，輸出預測結果y₂[S₂][P]。

四、總體演算法流程圖

BP網路總體演算法流程圖見附圖2。

五、數據流圖

BP網數據流圖見附圖1。

六、實例

實例一 全國銅礦化探異常數據BP 模型分類

1.全國銅礦化探異常數據准備

在全國銅礦化探數據上用穩健統計學方法選取銅異常下限值33.1，生成全國銅礦化探異常數據。

2.模型數據准備

根據全國銅礦化探異常數據，選取7類33個礦點的化探數據作為模型數據。這7類分別是岩漿岩型銅礦、斑岩型銅礦、矽卡岩型、海相火山型銅礦、陸相火山型銅礦、受變質型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。

3.測試數據准備

全國化探數據作為測試數據集。

4.BP網路結構

隱層數2，輸入層到輸出層向量維數分別為14，9、5、1。學習率設置為0.9，系統誤差1e-5。沒有動量項。

表8-1 模型數據表

續表

5.計算結果圖

如圖8-2、圖8-3。

圖8-2

圖8-3 全國銅礦礦床類型BP模型分類示意圖

實例二 全國金礦礦石量品位數據BP 模型分類

1.模型數據准備

根據全國金礦儲量品位數據，選取4類34個礦床數據作為模型數據，這4類分別是綠岩型金礦、與中酸性浸入岩有關的熱液型金礦、微細浸染型型金礦、火山熱液型金礦(表8-2)。

2.測試數據准備

模型樣本點和部分金礦點金屬量、礦石量、品位數據作為測試數據集。

3.BP網路結構

輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學習率設置為0.8，系統誤差1e-4，迭代次數5000。

表8-2 模型數據

4.計算結果

結果見表8-3、8-4。

表8-3 訓練學習結果

表8-4 預測結果(部分)

續表