神經網路演算法優缺點

『壹』 BP神經網路的核心問題是什麼其優缺點有哪些

人工神經網路,是一種旨在模仿人腦結構及其功能的信息處理系統,就是使用人工神經網路方法實現模式識別.可處理一些環境信息十分復雜,背景知識不清楚,推理規則不明確的問題,神經網路方法允許樣品有較大的缺損和畸變.神經網路的類型很多,建立神經網路模型時,根據研究對象的特點,可以考慮不同的神經網路模型. 前饋型BP網路,即誤差逆傳播神經網路是最常用,最流行的神經網路.BP網路的輸入和輸出關系可以看成是一種映射關系,即每一組輸入對應一組輸出.BP演算法是最著名的多層前向網路訓練演算法,盡管存在收斂速度慢,局部極值等缺點,但可通過各種改進措施來提高它的收斂速度,克服局部極值現象,而且具有簡單,易行,計算量小,並行性強等特點,目前仍是多層前向網路的首選演算法.

• 多層前向BP網路的優點：

• 網路實質上實現了一個從輸入到輸出的映射功能，而數學理論已證明它具有實現任何復雜非線性映射的功能。這使得它特別適合於求解內部機制復雜的問題；

• 網路能通過學習帶正確答案的實例集自動提取「合理的」求解規則，即具有自學習能力；

• 網路具有一定的推廣、概括能力。

• 多層前向BP網路的問題：

• 從數學角度看，BP演算法為一種局部搜索的優化方法，但它要解決的問題為求解復雜非線性函數的全局極值，因此，演算法很有可能陷入局部極值，使訓練失敗；

• 網路的逼近、推廣能力同學習樣本的典型性密切相關，而從問題中選取典型樣本實例組成訓練集是一個很困難的問題。

• 難以解決應用問題的實例規模和網路規模間的矛盾。這涉及到網路容量的可能性與可行性的關系問題，即學習復雜性問題；

• 網路結構的選擇尚無一種統一而完整的理論指導，一般只能由經驗選定。為此，有人稱神經網路的結構選擇為一種藝術。而網路的結構直接影響網路的逼近能力及推廣性質。因此，應用中如何選擇合適的網路結構是一個重要的問題；

• 新加入的樣本要影響已學習成功的網路，而且刻畫每個輸入樣本的特徵的數目也必須相同；

• 網路的預測能力（也稱泛化能力、推廣能力）與訓練能力（也稱逼近能力、學習能力）的矛盾。一般情況下，訓練能力差時，預測能力也差，並且一定程度上，隨訓練能力地提高，預測能力也提高。但這種趨勢有一個極限，當達到此極限時，隨訓練能力的提高，預測能力反而下降，即出現所謂「過擬合」現象。此時，網路學習了過多的樣本細節，而不能反映樣本內含的規律

• 由於BP演算法本質上為梯度下降法，而它所要優化的目標函數又非常復雜，因此，必然會出現「鋸齒形現象」，這使得BP演算法低效；

• 存在麻痹現象，由於優化的目標函數很復雜，它必然會在神經元輸出接近0或1的情況下，出現一些平坦區，在這些區域內，權值誤差改變很小，使訓練過程幾乎停頓；

• 為了使網路執行BP演算法，不能用傳統的一維搜索法求每次迭代的步長，而必須把步長的更新規則預先賦予網路，這種方法將引起演算法低效。

『貳』 神經網路演算法相對於普通的演算法的優越性在哪啊！ 例如在曲線擬合方面與基本的命令有什麼區別 信號處理不也

優點：
（1）對特徵數據無要求，不需相互獨立
（2）適用於非線性問題；
缺點：
（1）黑箱，即難以解釋其運算結果；
（2）需要較多的訓練數據；
（3）存在過擬合；

『叄』 對偶傳播神經網路優缺點

1、對偶傳播神經網路優點。對偶神經網路的多重定積分計算方法相比於傳統的數值積分方法，優勢在於可以獲得被積函數的原函數。
2、對偶傳播神經網路優缺點。實際訓練過程中精度和效率仍無法達到預期。

『肆』 神經網路演算法的局限性

神經網路演算法的局限性是：可以使用均值函數但是這個函數將獲取嵌入的平均值，並將其分配為新的嵌入。但是，很容易看出，對於某些不同的圖，它們會給出相同的嵌入，所以，均值函數並不是單射的。

即使圖不同，節點 v 和 v』 的平均嵌入聚合（此處嵌入對應於不同的顏色）將給出相同的嵌入。

這里真正重要的是，你可以先用某個函數 f(x) 將每個嵌入映射到一個新的嵌入，然後進行求和，得到一個單射函數。在證明中，它們實際上顯式地聲明了這個函數 f，這需要兩個額外條件，即 X 是可數的，且任何多重集都是有界的。

並且事實上，在訓練中並沒有任何東西可以保證這種單射性，而且可能還會有一些圖是 GIN 無法區分的，但WL可以。所以這是對 GIN 的一個很強的假設，如果違反了這一假設，那麼 GIN 的性能將受到限制。

神經網路演算法的普適性是：

研究模型的局限性通常更容易獲得對模型的洞察。畢竟，網路所不能學到的關於特定特徵的知識在應用時獨立於訓練過程。

此外，通過幫助我們理解與模型相關的任務的難度，不可能性結果（impossibility result）有助於得出關於如何選擇模型超參數的實用建議。

以圖分類問題為例。訓練一個圖分類器需要識別是什麼構成了一個類，即在同一個類而非其他類中找到圖共享的屬性，然後決定新的圖是否遵守所學習到的屬性。

然而，如果可以通過一定深度的圖神經網路（且測試集足夠多樣化）證明上述決策問題是不可能的，那麼我們可以確定，同一個網路將不會學習如何正確地對測試集進行分類，這與使用了什麼學習演算法無關。因此，在進行實驗時，我們應該把重點放在比下限更深的網路上。

『伍』 bp神經網路的缺點

1)局部極小化問題：從數學角度看，傳統的BP神經網路為一種局部搜索的優化方法，它要解決的是一個復雜非線性化問題，網路的權值是通過沿局部改善的方向逐漸進行調整的，這樣會使演算法陷入局部極值，權值收斂到局部極小點，從而導致網路訓練失敗。加上BP神經網路對初始網路權重非常敏感，以不同的權重初始化網路，其往往會收斂於不同的局部極小，這也是很多學者每次訓練得到不同結果的根本原因。
2)BP神經網路演算法的收斂速度慢：由於BP神經網路演算法本質上為梯度下降法，它所要優化的目標函數是非常復雜的，因此，必然會出現「鋸齒形現象」，這使得BP演算法低效；又由於優化的目標函數很復雜，它必然會在神經元輸出接近0或1的情況下，出現一些平坦區，在這些區域內，權值誤差改變很小，使訓練過程幾乎停頓。
3)BP神經網路結構選擇不一：BP神經網路結構的選擇至今尚無一種統一而完整的理論指導，一般只能由經驗選定。網路結構選擇過大，訓練中效率不高，可能出現過擬合現象，造成網路性能低，容錯性下降，若選擇過小，則又會造成網路可能不收斂。而網路的結構直接影響網路的逼近能力及推廣性質。因此，應用中如何選擇合適的網路結構是一個重要的問題。
4)應用實例與網路規模的矛盾問題：BP神經網路難以解決應用問題的實例規模和網路規模間的矛盾問題，其涉及到網路容量的可能性與可行性的關系問題，即學習復雜性問題。
5)BP神經網路預測能力和訓練能力的矛盾問題：預測能力也稱泛化能力或者推廣能力，而訓練能力也稱逼近能力或者學習能力。一般情況下，訓練能力差時，預測能力也差。

『陸』 神經網路與模糊控制優劣

(2)由工業過程的定性認識出發，比較容易建立語言控制規則，因而模糊控制對那些數學模型難以獲取，動態特性不易掌握或變化非常顯著的對象非常適用。(3)基於模型的控制演算法及系統設計方法，由於出發點和性能指標的不同，容易導致較大差異；但一個系統語言控制規則卻具有相對的獨立性，利用這些控制規律間的模糊連接，容易找到折中的選擇，使控制效果優於常規控制器 。(4)模糊控制是基於啟發性的知識及語言決策規則設計的，這有利於模擬人工控制的過程和方法，增強控制系統的適應能力，使之具有一定的智能水平。(5)模糊控制系統的魯棒性強，干擾和參數變化對控制效果的影響被大大減弱，尤其適合於非線性、時變及純滯後系統的控制。|||什麼是模糊控制？與傳統控制理論相比有什麼優點？模糊控制是近代控制理論中建立在模糊集合輪上基礎上的一種基於語言規則與模糊推理的控制理論，它是智能控制的一個重要分支。與傳統控制理論相比，模糊控制有兩大不可比擬的優點：第一，模糊控制在許多應用中可以有效且便捷的實現人的控制策略和經驗，這一優點自從模糊控制誕生以來就一直受到人們密切的關注；第二，模糊控制不需要被控對象的數學模型即可實現較好的控制，這是因為被控對象的動態特性已隱含在模糊控制器輸入、輸出模糊集及模糊規則中。所以模糊控制被越來越多的應用於各個領域，尤其是被廣泛應用於家電系列中，基於模糊控制的洗衣機就是其中的一個典型實例。|||模糊控制實質上是一種非線性控制，從屬於智能控制的范疇。模糊控制的一大特點是既具有系統化的理論，又有著大量實際應用背景。|||優點：對於難於建立模型的控制對象不失為一種良好的控制方法。

『柒』 機器學習之人工神經網路演算法

機器學習中有一個重要的演算法，那就是人工神經網路演算法，聽到這個名稱相信大家能夠想到人體中的神經。其實這種演算法和人工神經有一點點相似。當然，這種演算法能夠解決很多的問題，因此在機器學習中有著很高的地位。下面我們就給大家介紹一下關於人工神經網路演算法的知識。
1.神經網路的來源
我們聽到神經網路的時候也時候近一段時間，其實神經網路出現有了一段時間了。神經網路的誕生起源於對大腦工作機理的研究。早期生物界學者們使用神經網路來模擬大腦。機器學習的學者們使用神經網路進行機器學習的實驗，發現在視覺與語音的識別上效果都相當好。在BP演算法誕生以後，神經網路的發展進入了一個熱潮。
2.神經網路的原理
那麼神經網路的學習機理是什麼？簡單來說，就是分解與整合。一個復雜的圖像變成了大量的細節進入神經元，神經元處理以後再進行整合，最後得出了看到的是正確的結論。這就是大腦視覺識別的機理，也是神經網路工作的機理。所以可以看出神經網路有很明顯的優點。
3.神經網路的邏輯架構
讓我們看一個簡單的神經網路的邏輯架構。在這個網路中，分成輸入層，隱藏層，和輸出層。輸入層負責接收信號，隱藏層負責對數據的分解與處理，最後的結果被整合到輸出層。每層中的一個圓代表一個處理單元，可以認為是模擬了一個神經元，若干個處理單元組成了一個層，若干個層再組成了一個網路，也就是」神經網路」。在神經網路中，每個處理單元事實上就是一個邏輯回歸模型，邏輯回歸模型接收上層的輸入，把模型的預測結果作為輸出傳輸到下一個層次。通過這樣的過程，神經網路可以完成非常復雜的非線性分類。
4.神經網路的應用。
圖像識別領域是神經網路中的一個著名應用，這個程序是一個基於多個隱層構建的神經網路。通過這個程序可以識別多種手寫數字，並且達到很高的識別精度與擁有較好的魯棒性。可以看出，隨著層次的不斷深入，越深的層次處理的細節越低。但是進入90年代，神經網路的發展進入了一個瓶頸期。其主要原因是盡管有BP演算法的加速，神經網路的訓練過程仍然很困難。因此90年代後期支持向量機演算法取代了神經網路的地位。
在這篇文章中我們大家介紹了關於神經網路的相關知識，具體的內容就是神經網路的起源、神經網路的原理、神經網路的邏輯架構和神經網路的應用，相信大家看到這里對神經網路知識有了一定的了解，希望這篇文章能夠幫助到大家。

『捌』 神經網路演算法的優勢與應用

人工神經網路（ANN）以大腦處理機製作為基礎，開發用於建立復雜模式和預測問題的演算法。

首先了解大腦如何處理信息：
在大腦中，有數億個神經元細胞，以電信號的形式處理信息。外部信息或者刺激被神經元的樹突接收，在神經元細胞體中處理，轉化成輸出並通過軸突,傳遞到下一個神經元。下一個神經元可以選擇接受它或拒絕它，這取決於信號的強度。

[圖片上傳失敗...(image-cc0d9d-1512012156403)]

現在，讓我們嘗試了解 ANN 如何工作：

這里， $w_1$ ， $w_2$ ， $w_3$ 給出輸入信號的強度

從上面可以看出，ANN 是一個非常簡單的表示大腦神經元如何工作的結構。

為了使事情變得更清晰，用一個簡單的例子來理解 ANN：一家銀行想評估是否批准貸款申請給客戶，所以，它想預測一個客戶是否有可能違約貸款。它有如下數據：

所以，必須預測列 X。更接近 1 的預測值表明客戶更可能違約。

基於如下例子的神經元結構，嘗試創建人造神經網路結構：

通常，上述示例中的簡單 ANN 結構可以是：

[圖片上傳失敗...(image-1b4516-1512012156403)]

ANN 有一些關鍵優勢，使它們最適合某些問題和情況：

ANN 是具有廣泛應用的強大的模型。以上列舉了幾個突出的例子，但它們在醫葯、安全、銀行、金融、政府、農業和國防等領域有著廣泛的應用。

『玖』 神經網路演算法 遺傳演算法 模糊演算法 哪個好

沒有哪種演算法更好的說法，因為每種演算法都有自己的優勢。只能說某種演算法在處理某種問題時，效果更好更合適。

1. 神經網路不能說是一種演算法，它是一種數學網路結構，各神經元的權值、閾值是用某種訓練演算法計算出來的。神經網路適用於非線性系統，可用於難以用數學表達式來描述的系統。

2. 遺傳演算法在全局尋優問題上效果很好，因其收斂速度較快，且不易陷入局部極小點。其中實數編碼法適合與神經網路結合，例如GA-BP神經網路。

3. 模糊演算法可將一些難以量化的參數模糊處理，並且演算法較簡單，尤其是適用於專家經驗佔主要地位的系統，因為添加一條專家經驗只需往規則庫里添加一條語句即可。用這種演算法要注意區間不能劃得太寬，否則演算法太不精確。
   

『拾』 最小二乘法、回歸分析法、灰色預測法、決策論、神經網路等5個演算法的使用范圍及優缺點是什麼

最小二乘法：通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。優點：實現簡單，計算簡單。缺點：不能擬合非線性數據.
回歸分析法：指的是確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法。在大數據分析中，回歸分析是一種預測性的建模技術，它研究的是因變數（目標）和自變數（預測器）之間的關系。這種技術通常用於預測分析，時間序列模型以及發現變數之間的因果關系。優點：在分析多因素模型時，更加簡單和方便，不僅可以預測並求出函數，還可以自己對結果進行殘差的檢驗，檢驗模型的精度。缺點：回歸方程式只是一種推測，這影響了因子的多樣性和某些因子的不可測性，使得回歸分析在某些情況下受到限制。
灰色預測法：
色預測法是一種對含有不確定因素的系統進行預測的方法 。它通過鑒別系統因素之間發展趨勢的相異程度，即進行關聯分析，並對原始數據進行生成處理來尋找系統變動的規律，生成有較強規律性的數據序列，然後建立相應的微分方程模型，從而預測事物未來發展趨勢的狀況。它用等時間距離觀測到的反應預測對象特徵的一系列數量值構造灰色預測模型，預測未來某一時刻的特徵量，或者達到某一特徵量的時間。優點：對於不確定因素的復雜系統預測效果較好，且所需樣本數據較小。缺點：基於指數率的預測沒有考慮系統的隨機性，中長期預測精度較差。
決策樹：在已知各種情況發生概率的基礎上，通過構成決策樹來求取凈現值的期望值大於等於零的概率，評價項目風險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。由於這種決策分支畫成圖形很像一棵樹的枝幹，故稱決策樹。在機器學習中，決策樹是一個預測模型，他代表的是對象屬性與對象值之間的一種映射關系。優點：能夠處理不相關的特徵；在相對短的時間內能夠對大型數據源做出可行且效果良好的分析；計算簡單，易於理解，可解釋性強；比較適合處理有缺失屬性的樣本。缺點：忽略了數據之間的相關性；容易發生過擬合（隨機森林可以很大程度上減少過擬合）；在決策樹當中,對於各類別樣本數量不一致的數據，信息增益的結果偏向於那些具有更多數值的特徵。
神經網路：優點：分類的准確度高；並行分布處理能力強,分布存儲及學習能力強，對雜訊神經有較強的魯棒性和容錯能力，能充分逼近復雜的非線性關系；具備聯想記憶的功能。缺點：神經網路需要大量的參數，如網路拓撲結構、權值和閾值的初始值；不能觀察之間的學習過程，輸出結果難以解釋，會影響到結果的可信度和可接受程度；學習時間過長,甚至可能達不到學習的目的。