混合神經網路密度演算法

1. bp神經網路用啥演算法

自己找個例子算一下，推導一下，這個回答起來比較復雜

神經網路對模型的表達能力依賴於優化演算法，優化是一個不斷計算梯度並調整可學習參數的過程，Fluid中的優化演算法可參考優化器。

在網路的訓練過程中，梯度計算分為兩個步驟：前向計算與反向傳播。

• 前向計算會根據您搭建的網路結構，將輸入單元的狀態傳遞到輸出單元。

• 反向傳播藉助鏈式法則，計算兩個或兩個以上復合函數的導數，將輸出單元的梯度反向傳播回輸入單元，根據計算出的梯度，調整網路的可學習參數。

BP演算法

隱層的引入使網路具有很大的潛力。但正像Minskey和Papert當時所指出的．雖然對所有那些能用簡單(無隱層)網結解決的問題有非常簡單的學習規則，即簡單感知器的收斂程序(主要歸功於Widrow和HMf於1960年提出的Delta規剛)，

BP演算法

但當時並沒有找到同樣有技的含隱層的同培的學習規則。對此問題的研究有三個基本的結果。一種是使用簡單無監督學習規則的競爭學習方法．但它缺乏外部信息．難以確定適台映射的隱層結構。第二條途徑是假設一十內部(隱層)的表示方法，這在一些先約條件下是台理的。另一種方法是利用統計手段設計一個學習過程使之能有技地實現適當的內部表示法，Hinton等人(1984年)提出的Bolzmann機是這種方法的典型例子．它要求網路在兩個不同的狀態下達到平衡，並且只局限於對稱網路。Barto和他的同事(1985年)提出了另一條利用統計手段的學習方法。但迄今為止最有教和最實用的方瑤是Rumelhart、Hinton和Williams(1986年)提出的一般Delta法則，即反向傳播(BP)演算法。Parter(1985年)也獨立地得出過相似的演算法,他稱之為學習邏輯。此外， Lecun(1985年)也研究出大致相似的學習法則。

2. 求人工神經網路的具體演算法，數學模型，比如求一個函數最優值之類的，不要各種亂七八糟的介紹，謝謝

神經網路就像多項式或者線性模型一樣，是個看不見表達式的模型，它的表達式就是網路，它比一般模型具有更高的自由度和彈性；同時它是一個典型的黑箱模型方法；比多項式等模型還黑。優化演算法，就是尋優的演算法，所謂尋優過程，就是尋找使目標函數最小時（都是統一表示成尋找使函數具有最小值）的自變數的值。回歸或者擬合一個模型,例如用一個多項式模型去擬合一組數據，其本質就是尋找使殘差平方和最小的參數值，這就是一個尋優的過程，其實就是尋找使函數F（x）值最小時的x的值；對於這個具體的尋找過程就涉及到演算法問題，就是如何計算。所謂演算法，是數值分析的一個范疇，就是解這問題的方法；例如一個一元二次方程 x^2-3x+1=0的解法，因為簡單可以直接求解，也可以用牛頓逐個靠近的方法求解，也即是迭代，慢慢接近真實解，如此下去不斷接近真值，要注意迭代演算法是涉及演算法精度的，這些迭代演算法是基於計算機的，演算法的初衷也是用近似的演算法用一定的精度來接近真實值。 比如上面的方程也可以用遺傳演算法來解，可以從一些初始值最終迭代到最佳解。神經網路在尋找網路的參數即權值的時候，也有尋找使訓練效果最好的過程，這也是尋優的過程，這里涉及到了演算法就是所謂的神經網路演算法，這和最小二乘演算法是一樣的道理；例如做響應面的時候，其實就是二次回歸，用最小二乘得到二次模型的參數，得到一個函數，求最大產物量就是求函數模型的最大值，怎麼算呢？頂點處如果導數為0，這個地方對應的x值就是最優的，二次模型簡單可以用偏導數=0來直接解決，這過程也可以遺傳演算法等來解決。說到底所謂尋優的本質就是，尋找函數極值處對應的自變數的值。

3. 深入淺出BP神經網路演算法的原理

深入淺出BP神經網路演算法的原理
相信每位剛接觸神經網路的時候都會先碰到BP演算法的問題，如何形象快速地理解BP神經網路就是我們學習的高級樂趣了（畫外音：樂趣？你在跟我談樂趣？）
本篇博文就是要簡單粗暴地幫助各位童鞋快速入門採取BP演算法的神經網路。
BP神經網路是怎樣的一種定義？看這句話：一種按「誤差逆傳播演算法訓練」的多層前饋網路。
BP的思想就是：利用輸出後的誤差來估計輸出層前一層的誤差，再用這層誤差來估計更前一層誤差，如此獲取所有各層誤差估計。這里的誤差估計可以理解為某種偏導數，我們就是根據這種偏導數來調整各層的連接權值，再用調整後的連接權值重新計算輸出誤差。直到輸出的誤差達到符合的要求或者迭代次數溢出設定值。
說來說去，「誤差」這個詞說的很多嘛，說明這個演算法是不是跟誤差有很大的關系？
沒錯，BP的傳播對象就是「誤差」，傳播目的就是得到所有層的估計誤差。
它的學習規則是：使用最速下降法，通過反向傳播（就是一層一層往前傳）不斷調整網路的權值和閾值，最後使全局誤差系數最小。
它的學習本質就是：對各連接權值的動態調整。

拓撲結構如上圖：輸入層（input），隱藏層（hide layer），輸出層（output）
BP網路的優勢就是能學習和儲存大量的輸入輸出的關系，而不用事先指出這種數學關系。那麼它是如何學習的？
BP利用處處可導的激活函數來描述該層輸入與該層輸出的關系，常用S型函數δ來當作激活函數。

我們現在開始有監督的BP神經網路學習演算法：
1、正向傳播得到輸出層誤差e
=>輸入層輸入樣本=>各隱藏層=>輸出層
2、判斷是否反向傳播
=>若輸出層誤差與期望不符=>反向傳播
3、誤差反向傳播
=>誤差在各層顯示=>修正各層單元的權值，直到誤差減少到可接受程度。
演算法闡述起來比較簡單，接下來通過數學公式來認識BP的真實面目。
假設我們的網路結構是一個含有N個神經元的輸入層，含有P個神經元的隱層，含有Q個神經元的輸出層。

這些變數分別如下：

認識好以上變數後，開始計算：
一、用（-1，1）內的隨機數初始化誤差函數，並設定精度ε，最多迭代次數M
二、隨機選取第k個輸入樣本及對應的期望輸出

重復以下步驟至誤差達到要求：
三、計算隱含層各神經元的輸入和輸出

四、計算誤差函數e對輸出層各神經元的偏導數，根據輸出層期望輸出和實際輸出以及輸出層輸入等參數計算。

五、計算誤差函數對隱藏層各神經元的偏導數，根據後一層（這里即輸出層）的靈敏度（稍後介紹靈敏度）δo(k)，後一層連接權值w，以及該層的輸入值等參數計算
六、利用第四步中的偏導數來修正輸出層連接權值

七、利用第五步中的偏導數來修正隱藏層連接權值

八、計算全局誤差（m個樣本，q個類別）

比較具體的計算方法介紹好了，接下來用比較簡潔的數學公式來大致地概括這個過程，相信看完上述的詳細步驟都會有些了解和領悟。
假設我們的神經網路是這樣的，此時有兩個隱藏層。
我們先來理解靈敏度是什麼？
看下面一個公式：

這個公式是誤差對b的一個偏導數，這個b是怎麼？它是一個基，靈敏度δ就是誤差對基的變化率，也就是導數。
因為?u/?b=1，所以?E/?b=?E/?u=δ，也就是說bias基的靈敏度?E/?b=δ等於誤差E對一個節點全部輸入u的導數?E/?u。
也可以認為這里的靈敏度等於誤差E對該層輸入的導數，注意了，這里的輸入是上圖U級別的輸入，即已經完成層與層權值計算後的輸入。
每一個隱藏層第l層的靈敏度為：

這里的「?」表示每個元素相乘，不懂的可與上面詳細公式對比理解
而輸出層的靈敏度計算方法不同，為：

而最後的修正權值為靈敏度乘以該層的輸入值，注意了，這里的輸入可是未曾乘以權值的輸入，即上圖的Xi級別。

對於每一個權值(W)ij都有一個特定的學習率ηIj，由演算法學習完成。

4. 如何用python和scikit learn實現神經網路

1：神經網路演算法簡介

2：Backpropagation演算法詳細介紹

3：非線性轉化方程舉例

4：自己實現神經網路演算法NeuralNetwork

5：基於NeuralNetwork的XOR實例

6：基於NeuralNetwork的手寫數字識別實例

7：scikit-learn中BernoulliRBM使用實例

8：scikit-learn中的手寫數字識別實例

一：神經網路演算法簡介

1：背景

以人腦神經網路為啟發，歷史上出現過很多版本，但最著名的是backpropagation

2：多層向前神經網路（Multilayer Feed-Forward Neural Network）

5. 目前最流行的機器學習演算法是什麼

毫無疑問，機器學習在過去幾年越來越受歡迎。由於大數據是目前技術行業最熱門的趨勢，機器學習是非常強大的，可以根據大量數據進行預測或計算推理。
如果你想學習機器演算法，要從何下手呢？
監督學習
1. 決策樹：決策樹是一種決策支持工具，使用的決策及其可能產生的後果，包括隨機事件的結果，資源消耗和效用的樹狀圖或模型。
從業務決策的角度來看，決策樹是人們必須要選擇是/否的問題，以評估大多數時候作出正確決策的概率。它允許您以結構化和系統的方式來解決問題，以得出邏輯結論。
2.樸素貝葉斯分類：樸素貝葉斯分類器是一種簡單的概率分類器，基於貝葉斯定理，其特徵之間具有強大（樸素）的獨立性假設。
特徵圖像是方程 - P（A | B）是後驗概率，P（B | A）是似然度，P（A）是類先驗概率，P（B）是預測先驗概率。
一些現實世界的例子是：
判斷郵件是否為垃圾郵件
分類技術，將新聞文章氛圍政治或體育類
檢查一段表達積極情緒或消極情緒的文字
用於面部識別軟體
3.普通最小二乘回歸：如果你了解統計學，你可能已經聽說過線性回歸。最小二乘法是一種執行線性回歸的方法。
您可以將線性回歸視為擬合直線穿過點狀分布的任務。有多種可能的策略可以做到這一點，「普通最小二乘法」策略就像這樣 -你可以畫一條線，然後把每個數據點，測量點和線之間的垂直距離，添加上去;擬合線將是距離總和的盡可能小的線。
線性是指您正在使用的模型來迎合數據，而最小二乘可以最小化線性模型誤差。
4.邏輯回歸： Logistic回歸是一個強大的統計學方法，用一個或多個解釋變數建模二項式結果。它通過使用邏輯函數估計概率，來衡量分類因變數與一個或多個獨立變數之間的關系，後者是累積邏輯分布。
邏輯回歸用於生活中：
信用評級
衡量營銷活動的成功率
預測某一產品的收入
某一天會有地震嗎
5.支持向量機： SVM是二元分類演算法。給定N維空間中兩種種類型的點，SVM生成（N-1）維的超平面將這些點分成2組。
假設你有一些可以線性分離的紙張中的兩種類型的點。SVM將找到一條直線，將這些點分成兩種類型，並盡可能遠離所有這些點。
在規模上，使用SVM解決的一些特大的問題（包括適當修改的實現）是：廣告、人類基因剪接位點識別、基於圖像的性別檢測，大規模圖像分類...
6.集成方法：集成方法是構建一組分類器的學習演算法，然後通過對其預測進行加權投票來對新的數據點進行分類。原始的集成方法是貝葉斯平均法，但更新的演算法包括糾錯輸出編碼、bagging和boosting。
那麼集成方法如何工作，為什麼它們優於單個模型？
均衡偏差：如果你均衡了大量的傾向民主黨的投票和大量傾向共和黨的投票，你總會得到一個不那麼偏頗的結果。
降低方差：集合大量模型的參考結果，噪音會小於單個模型的單個結果。在金融領域，這被稱為投資分散原則(diversification)——一個混搭很多種股票的投資組合，比單獨的股票更少變故。
不太可能過度擬合：如果您有單個模型不完全擬合，您以簡單的方式（平均，加權平均，邏輯回歸）結合每個模型建模，那麼一般不會發生過擬合。
無監督學習
7. 聚類演算法：聚類是對一組對象進行分組的任務，使得同一組（集群）中的對象彼此之間比其他組中的對象更相似。
每個聚類演算法是不同的，比如：
基於Centroid的演算法
基於連接的演算法
基於密度的演算法
概率
降維
神經網路/深度學習
8. 主成分分析： PCA是使用正交變換將可能相關變數的觀察值轉換為主成分的線性不相關變數值的一組統計過程。
PCA的一些應用包括壓縮、簡化數據、便於學習、可視化。請注意，領域知識在選擇是否繼續使用PCA時非常重要。數據嘈雜的情況（PCA的所有組件都有很大差異）的情況不適用。
9.奇異值分解：在線性代數中，SVD是真正復雜矩陣的因式分解。對於給定的m * n矩陣M，存在分解，使得M =UΣV，其中U和V是酉矩陣，Σ是對角矩陣。
PCA實際上是SVD的簡單應用。在計算機視覺技術中，第一個人臉識別演算法使用PCA和SVD，以將面部表示為「特徵臉」的線性組合，進行降維，然後通過簡單的方法將面部匹配到身份;雖然這種方法更復雜，但仍然依賴於類似的技術。
10.獨立成分分析： ICA是一種統計技術，用於揭示隨機變數、測量或信號集合的隱藏因素。ICA定義了觀察到的多變數數據的生成模型，通常將其作為大型樣本資料庫。
在模型中，假設數據變數是一些未知潛在變數的線性混合，混合系統也是未知的。潛變數被假定為非高斯和相互獨立的，它們被稱為觀測數據的獨立成分。
ICA與PCA相關，但它是一種更強大的技術，能夠在這些經典方法完全失敗時找到潛在的源因素。其應用包括數字圖像、文檔資料庫、經濟指標和心理測量。