誤差反向學習演算法

① 反向傳播演算法 為什麼 誤差 那麼定義

自從40年代赫布(D.O.
Hebb)提出的學習規則以來，人們相繼提出了各種各樣的學習演算法。其中以在1986年Rumelhart等提出的誤差反向傳播法，即BP(error
BackPropagation)法影響最為廣泛。直到今天，BP演算法仍然是自動控制上最重要、應用最多的有效演算法。是用於多層神經網路訓練的著名演算法，有理論依據堅實、推導過程嚴謹、物理概念清楚、通用性強等優點。但是，人們在使用中發現BP演算法存在收斂速度緩慢、易陷入局部極小等缺點。
BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。
1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層
注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉入2）（誤差反向傳播過程）。
2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層 其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調整的過程）。
注2：權值調整的過程，也就是網路的學習訓練過程（學習也就是這么的由來，權值調整）。
1）初始化
2）輸入訓練樣本對，計算各層輸出
3）計算網路輸出誤差
4）計算各層誤差信號
5）調整各層權值
6）檢查網路總誤差是否達到精度要求
滿足，則訓練結束；不滿足，則返回步驟2。
1）易形成局部極小（屬貪婪演算法，局部最優)而得不到全局最優；
2）訓練次數多使得學習效率低下，收斂速度慢（需做大量運算）；
3）隱節點的選取缺乏理論支持；
4）訓練時學習新樣本有遺忘舊樣本趨勢。

② 神經網路——BP演算法

對於初學者來說，了解了一個演算法的重要意義，往往會引起他對演算法本身的重視。BP(Back Propagation，後向傳播)算陸襲法，具有非凡的歷史意義和重大的現實意義。

1969年,作為人工神經網路創始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一書,論證了簡單的線性感知器功能有限,不能解決如「異或」(XOR )這樣的基本問題,而且對多層網路也持悲觀態度。這些論點給神經網路研究以沉重的打擊,很多科學家紛紛離開這一領域,神經網路的研究走向長達10年的低潮時期。[1]

1974年哈佛大學的Paul Werbos發明BP演算法時，正值神經外網路低潮期，並未受到應有的重視。[2]

1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商這個NP完全問題的求解上獲得當時最好成績，引起了轟動[2]。然而,Hopfield的研究成果仍未能指出明斯基等人論點的錯誤所在,要推動神培判經網路研究的全面開展必須直接解除對感知器——多層網路演算法的疑慮。[1]

真正打破明斯基冰封魔咒的是，David Rumelhart等學者出版的《平行分布處理:認知的微觀結構探索》一書。書中完整地提出了BP演算法,系統地解決了多層網路中隱單元連接權的學習問題,並在數學上給出了完整的推導。這是神經網路發展史上的里程碑，BP演算法迅速走紅，掀起了神經網路的第二次高潮。[1,2]

因此，BP演算法的歷史意義：明確地否定了明斯基等人的錯誤觀點，對神經網路第二次高潮具有決定性意義。

這一點是說BP演算法在神經網路領域中的地位和意義。

BP演算法是迄今最成功的神經網路學習演算法，現實任務中使用神經網路時，大多是在使用BP演算法進行訓練[2],包括最近炙手可熱的深度學習概念下的卷積神經網路(CNNs)。

BP神經網路是這樣一種神經網路模型，它是由一個輸入層、一個輸出層和一個或多個隱層構成，它的激活函數採用sigmoid函數，採用BP演算法訓練的多層前饋神經網路。

BP演算法全稱叫作誤差反向傳播(error Back Propagation，或早中兄者也叫作誤差逆傳播)演算法。其演算法基本思想為：在2.1所述的前饋網路中，輸入信號經輸入層輸入，通過隱層計算由輸出層輸出，輸出值與標記值比較，若有誤差，將誤差反向由輸出層向輸入層傳播，在這個過程中，利用梯度下降演算法對神經元權值進行調整。

BP演算法中核心的數學工具就是微積分的 鏈式求導法則 。

BP演算法的缺點，首當其沖就是局部極小值問題。

BP演算法本質上是梯度下降，而它所要優化的目標函數又非常復雜，這使得BP演算法效率低下。

[1]、《BP演算法的哲學思考》，成素梅、郝中華著

[2]、《機器學習》，周志華著

[3]、 Deep Learning論文筆記之（四）CNN卷積神經網路推導和實現

2016-05-13 第一次發布

2016-06-04 較大幅度修改，完善推導過程，修改文章名

2016-07-23 修改了公式推導中的一個錯誤，修改了一個表述錯誤

③ 什麼是BP演算法

誤差反向傳播（Error Back Propagation, BP）演算法
1、BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。
1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層
注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉入2）（誤差反向傳播過程）
2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層
其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調整的過程）。

BP演算法基本介紹
含有隱層的多層前饋網路能大大提高神經網路的分類能力，但長期以來沒有提出解決權值調整問題的游戲演算法。1986年，Rumelhart和McCelland領導的科學家小組在《Parallel Distributed Processing》一書中，對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播（Error Back Proragation，簡稱BP）演算法進行了詳盡的分析，實現了Minsky關於多層網路的設想。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。
BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳人，經各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行的。權值不斷調整的過程，也就是網路的學習訓練過程。此過程一直進行到網路輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數為止。

④ BP演算法的介紹

BP演算法，誤差反向傳播（Error Back Propagation, BP）演算法。BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。

⑤ BP學習演算法是什麼類型的學習演算法它主要有哪些不足

BP演算法是由學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。

雖然BP演算法得到廣泛的應用，但它也存在不足，其主要表現在訓練過程不確定上，具體如下。

1，訓練時間較長。對於某些特殊的問題，運行時間可能需要幾個小時甚至更長，這主要是因為學習率太小所致，可以採用自適應的學習率加以改進。

2，完全不能訓練。訓練時由於權值調整過大使激活函數達到飽和，從而使網路權值的調節幾乎停滯。為避免這種情況，一是選取較小的初始權值，二是採用較小的學習率。

3，易陷入局部極小值。BP演算法可以使網路權值收斂到一個最終解，但它並不能保證所求為誤差超平面的全局最優解，也可能是一個局部極小值。

這主要是因為BP演算法所採用的是梯度下降法，訓練是從某一起始點開始沿誤差函數的斜面逐漸達到誤差的最小值，故不同的起始點可能導致不同的極小值產生，即得到不同的最優解。如果訓練結果未達到預定精度，常常採用多層網路和較多的神經元，以使訓練結果的精度進一步提高，但與此同時也增加了網路的復雜性與訓練時間。

4，「喜新厭舊」。訓練過程中，學習新樣本時有遺忘舊樣本的趨勢。

(5)誤差反向學習演算法擴展閱讀：

BP演算法最早由Werbos於1974年提出，1985年Rumelhart等人發展了該理論。BP網路採用有指導的學習方式，其學習包括以下4個過程。

1，組成輸入模式由輸入層經過隱含層向輸出層的「模式順傳播」過程。

2，網路的期望輸出與實際輸出之差的誤差信號由輸出層經過隱含層逐層休整連接權的「誤差逆傳播」過程。

3，由「模式順傳播」與「誤差逆傳播」的反復進行的網路「記憶訓練」過程。

4，網路趨向收斂即網路的總體誤差趨向極小值的「學習收斂」過程。

⑥ bp代表什麼呀

BP神經網路 BP (Back Propagation)神經網路是一種神經網路學習演算法，全稱基於誤差反向傳播演算法的人工神經網路。
如圖所示拓撲結構的單隱層前饋網路，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，夠成具有層次結構的前饋型神經網路系統。單計算層前饋神經網路只能求解線性可分問題，能夠求解非線性問題的網路必須是具有隱層的多層神經網路。
在人工神經網路發展歷史中，很長一段時間里沒有找到隱層的連接權值調整問題的有效演算法。直到誤差反向傳播演算法（BP演算法）的提出，成功地解決了求解非線性連續函數的多層前饋神經網路權重調整問題。
BP (Back Propagation)神經網路，即誤差反傳誤差反向傳播演算法的學習過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經元負責接收來自外界的輸入信息，並傳遞給中間層各神經元；中間層是內部信息處理層，負責信息變換，根據信息變化能力的需求，中間層可以設計為單隱層或者多隱層結構；最後一個隱層傳遞到輸出層各神經元的信息，經進一步處理後，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結果。當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也是神經網路學習訓練的過程，此過程一直進行到網路輸出的誤差減少到可以接受的程度，或者預先設定的學習次數為止。
神經網路
神經網路是：
思維學普遍認為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。
邏輯性的思維是指根據邏輯規則進行推理的過程；它先將信息化成概念，並用符號表示，然後，根據符號運算按串列模式進行邏輯推理；這一過程可以寫成串列的指令，讓計算機執行。然而，直觀性的思維是將分布式存儲的信息綜合起來，結果是忽然間產生想法或解決問題的辦法。這種思維方式的根本之點在於以下兩點:1.信息是通過神經元上的興奮模式分布儲在網路上;2.信息處理是通過神經元之間同時相互作用的動態過程來完成的。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。
神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。目前，主要的研究工作集中在以下幾個方面：
（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。
（2）建立理論模型。根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。
（3）網路模型與演算法研究。在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機饃擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。
（4）人工神經網路應用系統。在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。
【人工神經網路的工作原理】
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。
「人腦是如何工作的？」
「人類能否製作模擬人腦的人工神經元？」
多少年以來，人們從醫學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協同學等各個角度企圖認識並解答上述問題。在尋找上述問題答案的研究過程中，近年來逐漸形成了一個新興的多學科交叉技術領域，稱之為「神經網路」。神經網路的研究涉及眾多學科領域，這些領域互相結合、相互滲透並相互推動。不同領域的科學家又從各自學科的興趣與特色出發，提出不同的問題，從不同的角度進行研究。
心理學家和認知科學家研究神經網路的目的在於探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。
生物學、醫學、腦科學專家試圖通過神經網路的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望於臨床醫學的新突破；信息處理和計算機科學家研究這一問題的目的在於尋求新的途徑以解決目前不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。
人工神經網路是由大量的簡單基本元件——神經元相互聯接而成的自適應非線性動態系統。每個神經元的結構和功能比較簡單，但大量神經元組合產生的系統行為卻非常復雜。
人工神經網路反映了人腦功能的若干基本特性，但並非生物系統的逼真描述，只是某種模仿、簡化和抽象。
與數字計算機比較，人工神經網路在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執行運算，而是能夠自身適應環境、總結規律、完成某種運算、識別或過程式控制制。
人工神經元的研究起源於腦神經元學說。19世紀末，在生物、生理學領域，Waldeger等人創建了神經元學說。人們認識到復雜的神經系統是由數目繁多的神經元組合而成。大腦皮層包括有100億個以上的神經元，每立方毫米約有數萬個，它們互相聯結形成神經網路，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系統內，經過對信息的分析和綜合，再通過運動神經發出控制信息，以此來實現機體與內外環境的聯系，協調全身的各種機能活動。
神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態比較特殊，具有許多突起，因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。
樹突是細胞體的延伸部分，它由細胞體發出後逐漸變細，全長各部位都可與其他神經元的軸突末梢相互聯系，形成所謂「突觸」。在突觸處兩神經元並未連通，它只是發生信息傳遞功能的結合部，聯系界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性兩種類型，它相應於神經元之間耦合的極性。每個神經元的突觸數目正常，最高可達10個。各神經元之間的連接強度和極性有所不同，並且都可調整、基於這一特性，人腦具有存儲信息的功能。利用大量神經元相互聯接組成人工神經網路可顯示出人的大腦的某些特徵。下面通過人工神經網路與通用的計算機工作特點來對比一下：
若從速度的角度出發，人腦神經元之間傳遞信息的速度要遠低於計算機，前者為毫秒量級，而後者的頻率往往可達幾百兆赫。但是，由於人腦是一個大規模並行與串列組合處理系統，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高於串列結構的普通計算機。人工神經網路的基本結構模仿人腦，具有並行處理特徵，可以大大提高工作速度。
人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容，也即信息存貯在神經元之間連接強度的分布上，存貯區與計算機區合為一體。雖然人腦每日有大量神經細胞死亡 （平均每小時約一千個），但不影響大腦的正常思維活動。
普通計算機是具有相互獨立的存貯器和運算器，知識存貯與數據運算互不相關，只有通過人編出的程序使之溝通，這種溝通不能超越程序編制者的預想。元器件的局部損壞及程序中的微小錯誤都可能引起嚴重的失常。
人類大腦有很強的自適應與自組織特性，後天的學習與訓練可以開發許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善於運用手勢；訓練有素的運動員可以表現出非凡的運動技巧等等。
普通計算機的功能取決於程序中給出的知識和能力。顯然，對於智能活動要通過總結編製程序將十分困難。
人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境 （即輸入信號情況）而異，系統可以自動發現環境特徵和規律性，具有更近似人腦的功能。
人工神經網路早期的研究工作應追溯至本世紀40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經網路的發展歷史。
1943年，心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今，並且直接影響著這一領域研究的進展。因而，他們兩人可稱為人工神經網路研究的先驅。
1945年馮·諾依曼領導的設計小組試製成功存儲程序式電子計算機，標志著電子計算機時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區別，提出了以簡單神經元構成的再生自動機網路結構。但是，由於指令存儲式計算機技術的發展非常迅速，迫使他放棄了神經網路研究的新途徑，繼續投身於指令存儲式計算機技術的研究，並在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯系在一起的，但他也是人工神經網路研究的先驅之一。
50年代末，F·Rosenblatt設計製作了「感知機」，它是一種多層的神經網路。這項工作首次把人工神經網路的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效製作感知機，分別應用於文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而，這次人工神經網路的研究高潮未能持續很久，許多人陸續放棄了這方面的研究工作，這是因為當時數字計算機的發展處於全盛時期，許多人誤以為數字計算機可以解決人工智慧、模式識別、專家系統等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落後，主要的元件是電子管或晶體管，利用它們製作的神經網路體積龐大，價格昂貴，要製作在規模上與真實的神經網路相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異感這樣的基本問題，而且多層網路還不能找到有效的計算方法，這些論點促使大批研究人員對於人工神經網路的前景失去信心。60年代末期，人工神經網路的研究進入了低潮。
另外，在60年代初期，Widrow提出了自適應線性元件網路，這是一種連續取值的線性加權求和閾值網路。後來，在此基礎上發展了非線性多層自適應網路。當時，這些工作雖未標出神經網路的名稱，而實際上就是一種人工神經網路模型。
隨著人們對感知機興趣的衰退，神經網路的研究沉寂了相當長的時間。80年代初期，模擬與數字混合的超大規模集成電路製作技術提高到新的水平，完全付諸實用化，此外，數字計算機的發展在若干應用領域遇到困難。這一背景預示，向人工神經網路尋求出路的時機已經成熟。美國的物理學家Hopfield於1982年和1984年在美國科學院院刊上發表了兩篇關於人工神經網路研究的論文，引起了巨大的反響。人們重新認識到神經網路的威力以及付諸應用的現實性。隨即，一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網路的研究熱潮。