❶ BP網的功能及導高預測適用性
採用BP演算法的前饋神經網是神經網路在各個領域中應用最廣泛的一種,已經成功解決了大量實際問題。BP網的廣泛應用,歸因於其主要能力:具有非線性映射能力、泛化能力與容錯能力。
多層前饋網能學習和存儲大量輸入-輸出模式映射關系,即使不了解描述這種映射關系的數學方程,只要能提供足夠多的樣本模式對以供BP網路進行學習訓練,它便可以完成由n維輸入空間到m維輸出空間的非線性映射,即非線性映射能力。在工程上及許多技術領域中,對某一輸入 輸出系統常常積累了大量相關的輸入 輸出數據,但仍未掌握其內部蘊涵的規律,無法用數學方法來描述該規律。對難以得到解析解、缺乏專家經驗,但能夠表示和轉化為模式識別或非線性映射的這類問題,多層前饋網路具有無可比擬的優勢。通過訓練的多層前饋網路,將所提取的樣本對中的非線性映射關系存儲在權值矩陣中,當向網路輸入訓練時未曾見的非樣本數據時,網路也能完成由輸入空間向輸出空間的正確映射,即泛化能力,是衡量多層前饋網性能優劣的一個重要方面。由於權矩陣的調整是從大量的樣本中提取統計特性的過程,反映正確規律的知識來自全體樣本,個別樣本中的誤差不能左右對矩陣的調整。所以多層前饋網允許輸入樣本中帶有較大的誤差甚至個別錯誤,即容錯能力。
標准演算法在應用中具有訓練次數多,學習效率低,收斂速度慢,隱節點的選取缺乏理論指導,訓練時學習新樣本有遺忘舊樣本的趨勢,容易形成局部極小而得到局部全優等缺點,通過要權值調整公式中增加動量項α、自適應調節學習率η、在轉移函數中引入陡度因子λ等方法,有效改進了BP演算法,進一步提高其適用性。
因此,採用BP人工神經網路建立導水裂隙帶高度與其影響因子之間的非線性映射關系,並發揮BP網的泛化能力,輸入影響因子,對導水裂隙帶高度進行預測,具有無可比擬的優越性。
❷ BP執行是什麼意思
BP執行是指通過神經網路中的反向傳播演算法,根據誤差梯度來更新網路參數,從而實現訓練網路的過程。BP是一種常見的神經網路演算法,被廣泛應用於圖像識別、語音識別、自然語言處理和機器翻譯等領域。其在人工智慧領域中具有極大的價值和應用前景。
BP執行是一種高效的神經網路演算法,在訓練神經網路時能夠快速地收斂到最優解,同時具有很強的魯棒性和可擴展性。BP演算法在解決大規模數據問題時也具有很好的表現,並且能夠處理非線性問題,具有極高的精度。因此,BP執行是目前最為流行的一種神經網路演算法之一。
BP執行演算法的缺點也同樣明顯。其首先需要一個合適的損失函數,而且損失函數需要可微分。這就意味著無法處理離散數據的問題。其次,BP演算法可能會陷入局部最優解,需要採用適當的正則化方法來降低過擬合。此外,BP演算法的訓練速度較慢,演算法的收斂速度較慢。考慮到BP執行的優缺點,我們需要根據具體的問題場景進行選擇。
❸ 神經網路——BP演算法
對於初學者來說,了解了一個演算法的重要意義,往往會引起他對演算法本身的重視。BP(Back Propagation,後向傳播)算陸襲法,具有非凡的歷史意義和重大的現實意義。
1969年,作為人工神經網路創始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一書,論證了簡單的線性感知器功能有限,不能解決如「異或」(XOR )這樣的基本問題,而且對多層網路也持悲觀態度。這些論點給神經網路研究以沉重的打擊,很多科學家紛紛離開這一領域,神經網路的研究走向長達10年的低潮時期。[1]
1974年哈佛大學的Paul Werbos發明BP演算法時,正值神經外網路低潮期,並未受到應有的重視。[2]
1983年,加州理工學院的物理學家John Hopfield利用神經網路,在旅行商這個NP完全問題的求解上獲得當時最好成績,引起了轟動[2]。然而,Hopfield的研究成果仍未能指出明斯基等人論點的錯誤所在,要推動神培判經網路研究的全面開展必須直接解除對感知器——多層網路演算法的疑慮。[1]
真正打破明斯基冰封魔咒的是,David Rumelhart等學者出版的《平行分布處理:認知的微觀結構探索》一書。書中完整地提出了BP演算法,系統地解決了多層網路中隱單元連接權的學習問題,並在數學上給出了完整的推導。這是神經網路發展史上的里程碑,BP演算法迅速走紅,掀起了神經網路的第二次高潮。[1,2]
因此,BP演算法的歷史意義:明確地否定了明斯基等人的錯誤觀點,對神經網路第二次高潮具有決定性意義。
這一點是說BP演算法在神經網路領域中的地位和意義。
BP演算法是迄今最成功的神經網路學習演算法,現實任務中使用神經網路時,大多是在使用BP演算法進行訓練[2],包括最近炙手可熱的深度學習概念下的卷積神經網路(CNNs)。
BP神經網路是這樣一種神經網路模型,它是由一個輸入層、一個輸出層和一個或多個隱層構成,它的激活函數採用sigmoid函數,採用BP演算法訓練的多層前饋神經網路。
BP演算法全稱叫作誤差反向傳播(error Back Propagation,或早中兄者也叫作誤差逆傳播)演算法。其演算法基本思想為:在2.1所述的前饋網路中,輸入信號經輸入層輸入,通過隱層計算由輸出層輸出,輸出值與標記值比較,若有誤差,將誤差反向由輸出層向輸入層傳播,在這個過程中,利用梯度下降演算法對神經元權值進行調整。
BP演算法中核心的數學工具就是微積分的 鏈式求導法則 。
BP演算法的缺點,首當其沖就是局部極小值問題。
BP演算法本質上是梯度下降,而它所要優化的目標函數又非常復雜,這使得BP演算法效率低下。
[1]、《BP演算法的哲學思考》,成素梅、郝中華著
[2]、《機器學習》,周志華著
[3]、 Deep Learning論文筆記之(四)CNN卷積神經網路推導和實現
2016-05-13 第一次發布
2016-06-04 較大幅度修改,完善推導過程,修改文章名
2016-07-23 修改了公式推導中的一個錯誤,修改了一個表述錯誤