1. 神經網路——BP演算法
對於初學者來說，了解了一個演算法的重要意義，往往會引起他對演算法本身的重視。BP(Back Propagation，後向傳播)算陸襲法，具有非凡的歷史意義和重大的現實意義。
1969年,作為人工神經網路創始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一書,論證了簡單的線性感知器功能有限,不能解決如「異或」(XOR )這樣的基本問題,而且對多層網路也持悲觀態度。這些論點給神經網路研究以沉重的打擊,很多科學家紛紛離開這一領域,神經網路的研究走向長達10年的低潮時期。[1]
1974年哈佛大學的Paul Werbos發明BP演算法時，正值神經外網路低潮期，並未受到應有的重視。[2]
1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商這個NP完全問題的求解上獲得當時最好成績，引起了轟動[2]。然而,Hopfield的研究成果仍未能指出明斯基等人論點的錯誤所在,要推動神培判經網路研究的全面開展必須直接解除對感知器——多層網路演算法的疑慮。[1]
真正打破明斯基冰封魔咒的是，David Rumelhart等學者出版的《平行分布處理:認知的微觀結構探索》一書。書中完整地提出了BP演算法,系統地解決了多層網路中隱單元連接權的學習問題,並在數學上給出了完整的推導。這是神經網路發展史上的里程碑，BP演算法迅速走紅，掀起了神經網路的第二次高潮。[1,2]
因此，BP演算法的歷史意義：明確地否定了明斯基等人的錯誤觀點，對神經網路第二次高潮具有決定性意義。
這一點是說BP演算法在神經網路領域中的地位和意義。
BP演算法是迄今最成功的神經網路學習演算法，現實任務中使用神經網路時，大多是在使用BP演算法進行訓練[2],包括最近炙手可熱的深度學習概念下的卷積神經網路(CNNs)。
BP神經網路是這樣一種神經網路模型，它是由一個輸入層、一個輸出層和一個或多個隱層構成，它的激活函數採用sigmoid函數，採用BP演算法訓練的多層前饋神經網路。
BP演算法全稱叫作誤差反向傳播(error Back Propagation，或早中兄者也叫作誤差逆傳播)演算法。其演算法基本思想為：在2.1所述的前饋網路中，輸入信號經輸入層輸入，通過隱層計算由輸出層輸出，輸出值與標記值比較，若有誤差，將誤差反向由輸出層向輸入層傳播，在這個過程中，利用梯度下降演算法對神經元權值進行調整。
BP演算法中核心的數學工具就是微積分的 鏈式求導法則 。
BP演算法的缺點，首當其沖就是局部極小值問題。
BP演算法本質上是梯度下降，而它所要優化的目標函數又非常復雜，這使得BP演算法效率低下。
[1]、《BP演算法的哲學思考》，成素梅、郝中華著
[2]、《機器學習》，周志華著
[3]、 Deep Learning論文筆記之（四）CNN卷積神經網路推導和實現
2016-05-13 第一次發布
2016-06-04 較大幅度修改，完善推導過程，修改文章名
2016-07-23 修改了公式推導中的一個錯誤，修改了一個表述錯誤
2. 什麼是BP演算法
BP演算法由信號的正向傳播和誤差的反向傳播兩個過程組成。
正向傳播時，輸入樣本從輸入層進入網路，經隱層逐層傳遞至輸出層，如果輸乎此渣出層的實際輸出與期望輸出(導師信號)不同，則轉至誤差反向傳播；如果輸出層的實際輸出與期望輸出(導師信號)相同，結束學習演算法。
反向傳播時，將輸出誤差(期望輸出與實際輸出之差)按原通路反傳計算，通過隱層反向，直至輸入層，在反傳過程中將誤差分攤給各層的各個單元，獲得各層各單元的誤差信號，並將其作為修正各單扒判元權值的根據。這一計算過程使用梯度下降法完成，在不停地調整各層神經元的權值和閾值後，使誤差信號減小到最低限度。歲悄
3. 一文徹底搞懂BP演算法：原理推導+數據演示+項目實戰（上篇）
反向傳播演算法（Backpropagation Algorithm，簡稱BP演算法）是深度學習的重要思想基礎，對於初學者來說也是必須要掌握的基礎知識！本文希望以一個清晰的脈絡和詳細的說明，來讓讀者徹底明白BP演算法的原理和計算過程。
全文分為上下兩篇，上篇主要介紹BP演算法的原理（即公式的推導），介紹完原理之後，我們會將一些具體的數據帶入一個簡單的三層神經網路中，去完整的體驗一遍BP演算法的計算過程；下篇是一個項目實戰，我們將帶著讀者一起親手實現一個BP神經網路（不使用任何第三方的深度學習框架）來解決一個具體的問題。
圖 1 所示是一個簡單的三層（兩個隱藏層，一個輸出層）神經網路結構，假設我們使用這個神經網路來解決二分類問題，我們給這個網路一個輸入樣本 ，通過前向運算得到輸出 。輸出值 的值域為 ，例如 的值越接近0，代表該樣本是"0"類的可能性越大，反之是"1"類的可能性大。
為了便於理解後續的內容，我們需要先搞清楚前向傳播的計算過程，以圖1所示的內容為例：
輸入的樣本為：
第一層網路的參數為：
第二層網路的參數為：
第三層網路的參數為：
第一層隱藏層有三個神經元： 、 和 。該層的輸入為：
以 神經元為例，則旁敏其輸入為：
同理有：
假設我們選擇函數 作為該層的激活函數（圖1中的激活函數都標了一個下標，一般情況下，同一層的激活函數都是一樣的，不同層可以選擇不同的激活函數），那麼該層的輸出為： 、 和 。
第二層隱藏層有兩個神經元： 和 。該層的輸入為：
即第二層的輸入是第一層的輸出乘以第二層的權重，再加上亮困第二層的偏置。因此得到和的輸入分別為：
該層的輸出分別為： 和 。
輸出層只有一個神經元 ：。該層的輸入為：
即：
因為該網路要解決的是一個二分類問題，所以輸出層的激活函數也可以使用一個Sigmoid型函數，神經網路最後的輸出為： 。
在1.1節里，我們已經了解了數據沿著神經網路前向傳播的過程，這一節我們來介紹更重要的反向傳播的計算過程。假設我們使用隨機梯度下降的方式來學習神經網路的參數，損失函數定義為 ，其中 是該樣本的真實類標。使用梯度下降進行參數的學習，我們必須計算出損失函數關於神經網路中各層參數（權重 和偏置 ）的偏導數。
假設我們要對第 層隱藏層的參數 和 求偏導數，即求 和 。假設 代表第 層神經元的運鍵枝輸入，即 ，其中 為前一層神經元的輸出，則根據鏈式法則有：
因此，我們只需要計算偏導數 、 和 。
前面說過，第k層神經元的輸入為： ，因此可以得到：
上式中， 代表第 層神經元的權重矩陣 的第 行， 代表第 層神經元的權重矩陣 的第 行中的第 列。
我們以1.1節中的簡單神經網路為例，假設我們要計算第一層隱藏層的神經元關於權重矩陣的導數，則有：
因為偏置b是一個常數項，因此偏導數的計算也很簡單：
依然以第一層隱藏層的神經元為例，則有：
偏導數 又稱為 誤差項（error term，也稱為「靈敏度」） ，一般用 表示，例如 是第一層神經元的誤差項，其值的大小代表了第一層神經元對於最終總誤差的影響大小。
根據第一節的前向計算，我們知道第 層的輸入與第 層的輸出之間的關系為：
又因為 ，根據鏈式法則，我們可以得到 為：
由上式我們可以看到，第 層神經元的誤差項 是由第 層的誤差項乘以第 層的權重，再乘以第 層激活函數的導數（梯度）得到的。這就是誤差的反向傳播。
現在我們已經計算出了偏導數 、 和 ，則 和 可分別表示為：
下面是基於隨機梯度下降更新參數的反向傳播演算法：
單純的公式推導看起來有些枯燥，下面我們將實際的數據帶入圖1所示的神經網路中，完整的計算一遍。
我們依然使用如圖5所示的簡單的神經網路，其中所有參數的初始值如下：
輸入的樣本為（假設其真實類標為"1"）：
第一層網路的參數為：
第二層網路的參數為：
第三層網路的參數為：
假設所有的激活函數均為Logistic函數： 。使用均方誤差函數作為損失函數：
為了方便求導，我們將損失函數簡化為：
我們首先初始化神經網路的參數，計算第一層神經元：
上圖中我們計算出了第一層隱藏層的第一個神經元的輸入 和輸出 ，同理可以計算第二個和第三個神經元的輸入和輸出：
接下來是第二層隱藏層的計算，首先我們計算第二層的第一個神經元的輸入z₄和輸出f₄(z₄)：
同樣方法可以計算該層的第二個神經元的輸入 和輸出 ：
最後計算輸出層的輸入 和輸出 ：
首先計算輸出層的誤差項 ，我們的誤差函數為 ，由於該樣本的類標為「1」，而預測值為 ，因此誤差為 ，輸出層的誤差項為：
接著計算第二層隱藏層的誤差項，根據誤差項的計算公式有：
最後是計算第一層隱藏層的誤差項：
4. 深入淺出BP神經網路演算法的原理
深入淺出BP神經網路演算法的原理
相信每位剛接觸神經網路的時候都會先碰到BP演算法的問題，如何形象快速地理解BP神經網路就是我們學習的高級樂趣了（畫外音：樂趣？你在跟我談樂趣？）
本篇博文就是要簡單粗暴地幫助各位童鞋快速入門採取BP演算法的神經網路。
BP神經網路是怎樣的一種定義？看這句話：一種按「誤差逆傳播演算法訓練」的多層前饋網路。
BP的思想就是：利用輸出後的誤差來估計輸出層前一層的誤差，再用這層誤差來估計更前一層誤差，如此獲取所有各層誤差估計。這里的誤差估計可以理解為某種偏導數，我們就是根據這種偏導數來調整各層的連接權值，再用調整後的連接權值重新計算輸出誤差。直到輸出的誤差達到符合的要求或者迭代次數溢出設定值。
說來說去，「誤差」這個詞說的很多嘛，說明這個演算法是不是跟誤差有很大的關系？
沒錯，BP的傳播對象就是「誤差」，傳播目的就是得到所有層的估計誤差。
它的學習規則是：使用最速下降法，通過反向傳播（就是一層一層往前傳）不斷調整網路的權值和閾值，最後使全局誤差系數最小。
它的學習本質就是：對各連接權值的動態調整。
拓撲結構如上圖：輸入層（input），隱藏層（hide layer），輸出層（output）
BP網路的優勢就是能學習和儲存大量的輸入輸出的關系，而不用事先指出這種數學關系。那麼它是如何學習的？
BP利用處處可導的激活函數來描述該層輸入與該層輸出的關系，常用S型函數δ來當作激活函數。
我們現在開始有監督的BP神經網路學習演算法：
1、正向傳播得到輸出層誤差e
=>輸入層輸入樣本=>各隱藏層=>輸出層
2、判斷是否反向傳播
=>若輸出層誤差與期望不符=>反向傳播
3、誤差反向傳播
=>誤差在各層顯示=>修正各層單元的權值，直到誤差減少到可接受程度。
演算法闡述起來比較簡單，接下來通過數學公式來認識BP的真實面目。
假設我們的網路結構是一個含有N個神經元的輸入層，含有P個神經元的隱層，含有Q個神經元的輸出層。
這些變數分別如下：
認識好以上變數後，開始計算：
一、用（-1，1）內的隨機數初始化誤差函數，並設定精度ε，最多迭代次數M
二、隨機選取第k個輸入樣本及對應的期望輸出
重復以下步驟至誤差達到要求：
三、計算隱含層各神經元的輸入和輸出
四、計算誤差函數e對輸出層各神經元的偏導數，根據輸出層期望輸出和實際輸出以及輸出層輸入等參數計算。
五、計算誤差函數對隱藏層各神經元的偏導數，根據後一層（這里即輸出層）的靈敏度（稍後介紹靈敏度）δo(k)，後一層連接權值w，以及該層的輸入值等參數計算
六、利用第四步中的偏導數來修正輸出層連接權值
七、利用第五步中的偏導數來修正隱藏層連接權值
八、計算全局誤差（m個樣本，q個類別）
比較具體的計算方法介紹好了，接下來用比較簡潔的數學公式來大致地概括這個過程，相信看完上述的詳細步驟都會有些了解和領悟。
假設我們的神經網路是這樣的，此時有兩個隱藏層。
我們先來理解靈敏度是什麼？
看下面一個公式：
這個公式是誤差對b的一個偏導數，這個b是怎麼？它是一個基，靈敏度δ就是誤差對基的變化率，也就是導數。
因為?u/?b=1，所以?E/?b=?E/?u=δ，也就是說bias基的靈敏度?E/?b=δ等於誤差E對一個節點全部輸入u的導數?E/?u。
也可以認為這里的靈敏度等於誤差E對該層輸入的導數，注意了，這里的輸入是上圖U級別的輸入，即已經完成層與層權值計算後的輸入。
每一個隱藏層第l層的靈敏度為：
這里的「?」表示每個元素相乘，不懂的可與上面詳細公式對比理解
而輸出層的靈敏度計算方法不同，為：
而最後的修正權值為靈敏度乘以該層的輸入值，注意了，這里的輸入可是未曾乘以權值的輸入，即上圖的Xi級別。
對於每一個權值(W)ij都有一個特定的學習率ηIj，由演算法學習完成。