門控神經網路演算法

1. 神經網路演算法三大類

具體如下：
1、多層感知機，一種前饋人工神經網路模型，其將輸入的多個數據集映射到單一的輸出的數據集上，也稱做喚攜為全連接神經網路。2、卷積神經網路核心是卷積層，是一類包含卷積計算且具有深度結構的前饋神經網路演算法之一。
3、殘差收縮網路，殘差收縮網路是卷積神經網路的改進，引入了軟閾值純伏化，更適合強噪數據。屬鏈毀於深度殘差網路（DeepResialNetwork，ResNet）的新型改進形式。人工神經網路（ArtificialNeuralNetwork，即ANN），是20世紀80年代以來人工智慧領域興起的研究熱點。它從信息處理角度對人腦神經元網路進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網路。在工程與學術界也常直接簡稱為神經網路或類神經網路。

2. 淺談LSTM循環神經網路

姓名：程祖晗

學號：19021210938

【嵌牛導讀】人工神經網路（ANN）由大量相互連接的神經元或稱節點組成，這些節點經過網路中的大量加權連接，將數據進行相互通信枯唯，實現了神經網路的記憶特性。在常規的神經網路中，各個層之間的所有神經元彼此連接，但層間神經元不連接，即不能對前後位置具有一定關系的系列化數據進行更有效的分析，無法學習序列數據中前後樣本的內在關聯。為了優化此問題，多方研究提出了循環神經網路，且為了解決長距離依賴的問題，出現了長短期記憶網路（LSTM）。本篇就野敗虛LSTM循環神經網路進行簡單的講解。

【嵌牛鼻子】LSTM循環神經網路

【嵌牛正文】LSTM循環神經網路應用了門控演算法，即增加了一個狀態 來保存長期的狀態，此頌燃演算法在學習時既能掌握長距離依賴又能選擇性地遺忘信息防止過載。因此在當前時刻下，LSTM 的單個神經元中共有三個輸入，分別是當前時刻網路的輸入值 、LSTM 隱含層上一時刻的輸出值 以及上一時刻的單元狀態 。現研究其模型的建立過程。

LSTM是改進的循環神經網路，如圖1所示， 為輸入樣本， 為輸出樣本， 為LSTM單元輸出。 分別為樣本個數，輸出樣本個數及神經元個數。即：

模型中需要初始化的參數有 、 、 、 、 。

遺忘門限 決定了當前時刻的神經元狀態 中保存了多少上一時刻的神經元狀態 ：

輸入門限 決定了當前時刻網路的輸入 有多少保留到當前時刻的神經元狀態 ，同時計算當前輸出的神經元狀態 。

輸出門限 限制了神經元狀態 對 的作用：

最後輸出的預測結果為： ，其中 為偏移量。

與 WNN 不同，RNN 的反向誤差值包括兩個方面：一個是沿時間的反向傳播，即當前時刻開始後的每個時刻的誤差；一個是將層間的誤差值傳遞。設 LSTM 單元的輸出值為 ，定義 時刻的誤差項為：

（1）誤差項沿時間的反向傳遞

根據上式得到 時刻的 ，即

因此 。且由前向計算可知：

（2）層間傳遞

假設當前為第 層，定義 層的誤差項為：

因此

由前可計算出各權值對應的梯度值，如下所示：

設置學習率 ，則示例如下所示：

模型建立完成，可利用此模型完成對數據的預測，其結果比常規的神經網路更精確。

參考： http://colah.github.io/posts/2015-08-Understanding-LSTMs/

https://zybuluo.com/hanbingtao/note/541458

3. rbf神經網路演算法是什麼

RBF神經網路演算法是由三層結構組成，輸入層至隱層為非線性的空間變換，一般選用徑向基函數的高斯函數進行運算；從隱層至輸出層為線性空間變換，即矩陣與矩陣之間的變換。

RBF神經網路進行數據運算時需要確認聚類中心點的位置及隱層至輸出層的權重。通常，選用K-means聚類演算法或最小正交二乘法對數據大量的進行訓練得出聚類中心矩陣和權重矩陣。

一般情況下，最小正交二乘法聚類中心點的位置是給定的，因此比較適合分布相對規律的數據。而K-means聚類演算法則會自主選取聚類中心，進行無監督分類學習，從而完成空間映射關系。

RBF網路特點

RBF網路能夠逼近任意非線性的函數(因為使用的是一個局部的激活函數。在中心點附近有最大的反應；越接近中心點則反應最大，遠離反應成指數遞減；就相當於每個神經元都對應不同的感知域)。

可以處理系統內難以解析的規律性，具有很好的泛化能力，並且具有較快的學習速度。

有很快的學習收斂速度，已成功應用於非線性函數逼近、時間序列分析、數據分類、模式識別、信息處理、圖像處理、系統建模、控制和故障診斷等。

當網路的一個或多個可調參數（權值或閾值）對任何一個輸出都有影響時，這樣的網路稱為全局逼近網路。由於對於每次輸入，網路上的每一個權值都要調整，從而導致全局逼近網路的學習速度很慢，比如BP網路。

4. 神經網路演算法可以解決的問題有哪些

人工神經網路（Artificial Neural Networks，ANN）系統是 20 世紀 40 年代後出現的。它是由眾多的神經元可調的連接權值連接而成，具有大規模並行處理、分布式信 息存儲、良好的自組織自學習能力等特點。BP（Back Propagation）演算法又稱為誤差 反向傳播演算法，是人工神經網路中的一種監督式的學習演算法。BP 神經網路演算法在理 論上可以逼近任意函數，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。而且網路的中間層數、各層的處理單元數及網路的學習系數等參數可根據具體情況設定，靈活性很大，在優化、信號處理與模式識別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。

工作原理
人工神經元的研究起源於腦神經元學說。19世紀末，在生物、生理學領域，Waldeger等人創建了神經元學說。人們認識到復雜的神經系統是由數目繁多的神經元組合而成。大腦皮層包括有100億個以上的神經元，每立方毫米約有數萬個，它們互相聯結形成神經網路，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系統內，經過對信息的分析和綜合，再通過運動神經發出控制信息，以此來實現機體與內外環境的聯系，協調全身的各種機能活動。
神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態比較特殊，具有許多突起，因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。
樹突是細胞體的延伸部分，它由細胞體發出後逐漸變細，全長各部位都可與其他神經元的軸突末梢相互聯系，形成所謂「突觸」。在突觸處兩神經元並未連通，它只是發生信息傳遞功能的結合部，聯系界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性兩種類型，它相應於神經元之間耦合的極性。每個神經元的突觸數目正常，最高可達10個。各神經元之間的連接強度和極性有所不同，並且都可調整、基於這一特性，人腦具有存儲信息的功能。利用大量神經元相互聯接組成人工神經網路可顯示出人的大腦的某些特徵。
人工神經網路是由大量的簡單基本元件——神經元相互聯接而成的自適應非線性動態系統。每個神經元的結構和功能比較簡單，但大量神經元組合產生的系統行為卻非常復雜。
人工神經網路反映了人腦功能的若干基本特性，但並非生物系統的逼真描述，只是某種模仿、簡化和抽象。
與數字計算機比較，人工神經網路在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執行運算，而是能夠自身適應環境、總結規律、完成某種運算、識別或過程式控制制。
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對於寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。

5. 稀疏門控多專家網路MOE

最近需要做MOE相關的工作，簡單分析記錄下Hinton團隊2017ICLR上發表的論文

論文題目：《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》

論文地址：https://arxiv.org/abs/1701.06538

背景介紹：

隨著深度學習的發展，數據規模和模型容量已經是深度學習的關鍵因素。傳統的深度學習模型中，對於每一個樣本輸入，完整的模型都需要被激活。隨著數據和模型的擴大，這樣的開銷是二次的。因此，引入條件計算的概念，即通過動態激活部分神經網路，從而在增加模型參數量的情況下，而不增加計算量。

但是條件計算提出以來，面臨著幾個困境：

1.現代的計算機硬體，尤其是GPU，精通計算操作而不擅長分支。因此先前很多的工作每個門控制大chunk網路以減少分支。

2.條件計算會減少batch size。

3.網路帶寬是瓶頸。

4.需要設計特定的損失函數，Bengio先前的工作就設計了三種loss，這些loss的設計會影響模型的效果和負載均衡。

5.現有的相關工作都是在小數據集上的小模型實驗。

方法：

提出稀疏門控的多專家混合網路，通過一個可學習的門控網路來稀疏地選擇專家。

相關工作：

介紹了先前機器學習&深度學習領域的一些專家網路的工作，但是這些網路都是偏上層的專家結合，每個專家網路其實是一個完整的模型。而該論文的工作實際上是將MOE做成一個通用的網路模塊，同時作為一種實際的方式來控制模型的容量。

模型結構：

如上公式，模型輸出就是通過門控網路G來賦予不同專家E的輸出不同權重。文中提到，如果專家的數量過多，也可以構建多層的MOE結構。

這里文中有一段對於MOE結構的理解。在MOE中，專家網路是前饋神經網路類似於參數化的權重矩陣，而對於多個專家激活的情況就對應於一種block-wise的dropout結構。

門控網路：

簡單的softmax網路：

有噪的topk網路：

·通過topk選取前k個專家，其餘專家的系數為0。稀疏門控的設計碰肆能夠節省計算量。

·通過加入雜訊（其中雜訊權重矩陣是可學習的）來控制負載均衡。

解決問題：

batch size的問題：簡單來說，假設batch size為b，從n個專家中選取topK個。由於稀疏激活的原因，每個專家接收的樣本數是k*b/n << b，因此會造成batch size減小。

同步的數據和模型並行：控制每一張瞎吵賣卡上只有一個專家網路，通過門控網路實現數據分發到哪個專家網路。該方法控制每張卡上磨逗內存和通信消耗幾乎一致，因此只需要增加卡的數量d，就可以等比例的增大batch size。

卷積性：網路的每一個時間步的MOE都相同，如果把LSTM的多時間步拆開，相當於形成一個很大的batch輸入，因此也可以增大batch size。

其他一些優化顯存的方法增大batch size。

網路帶寬問題：通過增大隱層維度或者隱層的數量來提高計算效率。

負載均衡問題：具體而言，模型訓練時會趨向於總激活某幾個專家，這是模型的「自我強化」導致的不平衡性。先前的一些工作會加入一些硬限制和軟限制。

MOE中通過增加兩種loss設計，importance loss&load loss。前者定義重要性，表示某個專家訓練的樣本數量，從而鼓勵所有專家都參與訓練。後者是為了解決有些專家接收少量大權重的樣本，有些專家接收大量小權重的樣本的情況。

實驗：

實驗部分展示了在語言建模以及翻譯等任務上MOE的表現。基本來說，MOE在更小計算量的情況下，模型擁有更高的參數量（最高為1370億參數量），並且在test perplexity上更低。

結論：

MOE確實提供了一個很好的思路來提升模型容量。在理想情況下，只需要增加專家的數量（設備數量）就可以增大模型參數量。但是實際訓練操作比較困難，同時文中的專家網路僅是簡單的前饋神經網路，其他網路結構還需要近一步探索。

之後會記錄一系列的MOE相關論文，希望能夠獲得啟發。

6. 幾種常見的循環神經網路結構RNN、LSTM、GRU

傳統文本處理任務的方法中一般將TF-IDF向量作為特徵輸入。顯而易見，這樣的表示實際上丟失了輸入的文本序列中每個單詞的順序。在神經網路的建侍空模過程中，一般的前饋神經網路，如卷積神經網路，通常接受一個定長的向量作為輸入。卷積神經網路對文本數據建模時，輸入變長的字元串或者單詞串，然後通過滑動窗口加池化的方式將原先的輸入轉換成一個固定長度的向量表示，這樣做可以捕捉到原文本中的一些局部特徵，但是兩個單詞之間的長距離依賴關系還是很難被學習到。
循環神經網路卻能很好地處理文本數據變長並且有序的輸入序列。它模擬了人閱讀一篇文章的順序，從前到後閱讀文章中的每一個單詞，將前面閱讀到的有用信息編碼到狀態變數中去，從而擁有了一定的記憶能力，可以更好地理解之後的文本。
其網路結構如下圖所示：

由圖可見，t是時刻，x是輸入層，s是隱藏層，o是輸出層，矩陣W就是隱藏層上一次的值作為這一次的輸入的權重。

如果反復把式 2 帶入到式 1，將得到：

其中f和g為激活函數，U為輸入層到隱含層的權重矩陣，W為隱含層從上一時刻到下一時刻狀態轉移的權重矩陣。在文本分類任務中，f可以選取Tanh函數或者ReLU函數，g可以採用Softmax函數。

通過最小化損失誤差（即輸出的y與真實類別之間的距離），我們可以不斷訓練網路，使得得到的循環神經網路可以准確地預測文本所屬的類別，達到分類目的。相比於卷積神經網路等前饋神經網路，循環神經網路由於具備對序列順序信息的刻畫能力，往往能得到更准確的結果。

RNN的訓練演算法為：BPTT
BPTT的基本原理和BP演算法是一樣的，同樣是三步：
1.前向計算每個神經元的輸出值；
2.反向計算每個神經元的誤差項值，它是誤差函數E對神經元j的加權輸入的偏導數；
3.計算每個權重的梯度。
最後再用隨機梯度下降演算法更新權重。
具體參考： https://www.jianshu.com/p/39a99c88a565
最後由鏈式法則得到下面以雅可比矩陣來表達的每個權重的梯度:

由於預測的誤差是沿著神經網路的每一層反向傳播的，因此當雅克比矩陣的最大特徵值大於1時，隨著離輸出越來越遠，每層的梯度大小會呈指數增長，導致梯度爆炸；反之，若雅克比矩陣的最大特徵值小於1，梯度的大小會呈指數縮小，產生梯度消失。對於普通的前饋網路來說，梯度消失意味著無法通過加深網路層次來改善神經網路的預測效果，因為無論如何加深網路，只有靠近輸出的若干層才真正起到學習的作用。 這使得循環神經網路模型很難學習到輸入序列中的長距離依賴關系 。

關於RNN梯度下降的詳細推導可以參考: https://zhuanlan.hu.com/p/44163528

梯度爆凳缺炸的問題可以通過梯度裁剪來緩解，即當梯度的範式大於某個給定值時，對梯度進行等比收縮。而梯度消失問題相對比較棘手，需要對模型本身進行改進。深度殘差網路是對前饋神經網路的改進，通過殘差學習的方式緩解了梯度消失的現象，從而使得我們能夠學習到更深層的網路表示；而對於循環神經網路來說，長短時記憶模型及其變種門控循環單元等模型通過加入門控機制，很大程度上彌補了梯度消失所帶來的損失。

LSTM的網路機構圖如下所示：

與傳統的循環神經網路相比，LSTM仍然是基於xt和ht−1來計算ht，只不過對內部的結構進行了更加精心的設計，加入了輸入門it 、遺忘門ft以及輸出門ot三個門和一個內部記憶單元ct。輸入門控制當前計算的新狀態以多大程度更新到記憶單元中；遺老粗瞎忘門控制前一步記憶單元中的信息有多大程度被遺忘掉；輸出門控制當前的輸出有多大程度上取決於當前的記憶單元。

在經典的LSTM模型中，第t層的更新計算公式為

其中it是通過輸入xt和上一步的隱含層輸出ht−1進行線性變換，再經過激活函數σ得到的。輸入門it的結果是向量，其中每個元素是0到1之間的實數，用於控制各維度流過閥門的信息量；Wi 、Ui兩個矩陣和向量bi為輸入門的參數，是在訓練過程中需要學習得到的。遺忘門ft和輸出門ot的計算方式與輸入門類似，它們有各自的參數W、U和b。與傳統的循環神經網路不同的是，從上一個記憶單元的狀態ct−1到當前的狀態ct的轉移不一定完全取決於激活函數計算得到的狀態，還由輸入門和遺忘門來共同控制。

在一個訓練好的網路中，當輸入的序列中沒有重要信息時，LSTM的遺忘門的值接近於1，輸入門的值接近於0，此時過去的記憶會被保存，從而實現了長期記憶功能；當輸入的序列中出現了重要的信息時，LSTM應當把其存入記憶中，此時其輸入門的值會接近於1；當輸入的序列中出現了重要信息，且該信息意味著之前的記憶不再重要時，輸入門的值接近1，而遺忘門的值接近於0，這樣舊的記憶被遺忘，新的重要信息被記憶。經過這樣的設計，整個網路更容易學習到序列之間的長期依賴。

GRU是在LSTM上進行簡化而得到的，GRU的網路結構如下所示：

Zt代表更新門，更新門的作用類似於LSTM中的遺忘門和輸入門，它能決定要丟棄哪些信息和要添加哪些新信息。
Rt代表重置門，重置門用於決定丟棄先前信息的程度。

要注意的是，h只是一個變數，因此在每個時刻，包括最後的線性組合，h都是在用以前的自己和當前的備選答案更新自己。舉例來說，這一個變數好比一杯酒，每次我們要把一部分酒倒出去，並把倒出去的酒和新加入的原料混合，然後在倒回來，這里的reset控制的就是要倒出去的，並且混合好之後再倒回來的酒的比例，而update控制的則是用多大的比例混合新原料和倒出來的之前調制好的酒。同理，也可以以此理解LSTM，LSTM的遺忘門功能上和reset相似，而輸入門與update相似，不同之處在於LSTM還控制了當前狀態的exposure，也就是輸出門的功能，這是GRU所沒有的。

1.百面機器學習
2. https://zhuanlan.hu.com/p/45649187
3. https://www.jianshu.com/p/39a99c88a565

7. 神經網路演算法原理

一共有四種演算法及原理，如下所示：

1、自適應諧振理論（ART）網路

自適應諧振理論（ART）網路具有不同的方案。一個ART-1網路含有兩層一個輸入層和一個輸出層。這兩層完全互連，該連接沿著正向（自底向上）和反饋（自頂向下）兩個方向進行。

2、學習矢量量化（LVQ）網路

學習矢量量化（LVQ）網路，它由三層神經元組成，即輸入轉換層、隱含層和輸出層。該網路在輸入層與隱含層之間為完全連接，而在隱含層與輸出層之間為部分連接，每個輸出神經元與隱含神經元的不同組相連接。

3、Kohonen網路

Kohonen網路或自組織特徵映射網路含有兩層，一個輸入緩沖層用於接收輸入模式，另一個為輸出層，輸出層的神經元一般按正則二維陣列排列，每個輸出神經元連接至所有輸入神經元。連接權值形成與已知輸出神經元相連的參考矢量的分量。

4、Hopfield網路

Hopfield網路是一種典型的遞歸網路，這種網路通常只接受二進制輸入（0或1）以及雙極輸入（+1或-1）。它含有一個單層神經元，每個神經元與所有其他神經元連接，形成遞歸結構。

(7)門控神經網路演算法擴展閱讀：

人工神經網路演算法的歷史背景：

該演算法系統是 20 世紀 40 年代後出現的。它是由眾多的神經元可調的連接權值連接而成，具有大規模並行處理、分布式信息存儲、良好的自組織自學習能力等特點。

BP演算法又稱為誤差反向傳播演算法，是人工神經網路中的一種監督式的學習演算法。BP 神經網路演算法在理論上可以逼近任意函數，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。

而且網路的中間層數、各層的處理單元數及網路的學習系數等參數可根據具體情況設定，靈活性很大，在優化、信號處理與模式識別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。

8. 神經網路演算法是什麼

Introction
--------------------------------------------------------------------------------

神經網路是新技術領域中的一個時尚詞彙。很多人聽過這個詞，但很少人真正明白它是什麼。本文的目的是介紹所有關於神經網路的基本包括它的功能、一般結構、相關術語、類型及其應用。

「神經網路」這個詞實際是來自於生物學，而我們所指的神經網路正確的名稱應該是「人工神經網路（ANNs）」。在本文，我會同時使用這兩個互換的術語。

一個真正的神經網路是由數個至數十億個被稱為神經元的細胞（組成我們大腦的微小細胞）所組成，它們以不同方式連接而型成網路。人工神經網路就是嘗試模擬這種生物學上的體系結構及其操作。在這里有一個難題：我們對生物學上的神經網路知道的不多！因此，不同類型之間的神經網路體系結構有很大的不同，我們所知道的只是神經元基本的結構。

The neuron
--------------------------------------------------------------------------------

雖然已經確認在我們的大腦中有大約50至500種不同的神經元，但它們大部份都是基於基本神經元的特別細胞。基本神經元包含有synapses、soma、axon及dendrites。Synapses負責神經元之間的連接，它們不是直接物理上連接的，而是它們之間有一個很小的空隙允許電子訊號從一個神經元跳到另一個神經元。然後這些電子訊號會交給soma處理及以其內部電子訊號將處理結果傳遞給axon。而axon會將這些訊號分發給dendrites。最後，dendrites帶著這些訊號再交給其它的synapses，再繼續下一個循環。

如同生物學上的基本神經元，人工的神經網路也有基本的神經元。每個神經元有特定數量的輸入，也會為每個神經元設定權重（weight）。權重是對所輸入的資料的重要性的一個指標。然後，神經元會計算出權重合計值（net value），而權重合計值就是將所有輸入乘以它們的權重的合計。每個神經元都有它們各自的臨界值（threshold），而當權重合計值大於臨界值時，神經元會輸出1。相反，則輸出0。最後，輸出會被傳送給與該神經元連接的其它神經元繼續剩餘的計算。

Learning
--------------------------------------------------------------------------------

正如上述所寫，問題的核心是權重及臨界值是該如何設定的呢？世界上有很多不同的訓練方式，就如網路類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓練模式。

由於結構體系的不同，訓練的規則也不相同，但大部份的規則可以被分為二大類別 - 監管的及非監管的。監管方式的訓練規則需要「教師」告訴他們特定的輸入應該作出怎樣的輸出。然後訓練規則會調整所有需要的權重值（這是網路中是非常復雜的），而整個過程會重頭開始直至數據可以被網路正確的分析出來。監管方式的訓練模式包括有back-propagation及delta rule。非監管方式的規則無需教師，因為他們所產生的輸出會被進一步評估。

Architecture
--------------------------------------------------------------------------------

在神經網路中，遵守明確的規則一詞是最「模糊不清」的。因為有太多不同種類的網路，由簡單的布爾網路（Perceptrons），至復雜的自我調整網路（Kohonen），至熱動態性網路模型（Boltzmann machines）！而這些，都遵守一個網路體系結構的標准。

一個網路包括有多個神經元「層」，輸入層、隱蔽層及輸出層。輸入層負責接收輸入及分發到隱蔽層（因為用戶看不見這些層，所以見做隱蔽層）。這些隱蔽層負責所需的計算及輸出結果給輸出層，而用戶則可以看到最終結果。現在，為免混淆，不會在這里更深入的探討體系結構這一話題。對於不同神經網路的更多詳細資料可以看Generation5 essays

盡管我們討論過神經元、訓練及體系結構，但我們還不清楚神經網路實際做些什麼。

The Function of ANNs
--------------------------------------------------------------------------------

神經網路被設計為與圖案一起工作 - 它們可以被分為分類式或聯想式。分類式網路可以接受一組數，然後將其分類。例如ONR程序接受一個數字的影象而輸出這個數字。或者PPDA32程序接受一個坐標而將它分類成A類或B類（類別是由所提供的訓練決定的）。更多實際用途可以看Applications in the Military中的軍事雷達，該雷達可以分別出車輛或樹。

聯想模式接受一組數而輸出另一組。例如HIR程序接受一個『臟』圖像而輸出一個它所學過而最接近的一個圖像。聯想模式更可應用於復雜的應用程序，如簽名、面部、指紋識別等。

The Ups and Downs of Neural Networks
--------------------------------------------------------------------------------

神經網路在這個領域中有很多優點，使得它越來越流行。它在類型分類/識別方面非常出色。神經網路可以處理例外及不正常的輸入數據，這對於很多系統都很重要（例如雷達及聲波定位系統）。很多神經網路都是模仿生物神經網路的，即是他們仿照大腦的運作方式工作。神經網路也得助於神經系統科學的發展，使它可以像人類一樣准確地辨別物件而有電腦的速度！前途是光明的，但現在...

是的，神經網路也有些不好的地方。這通常都是因為缺乏足夠強大的硬體。神經網路的力量源自於以並行方式處理資訊，即是同時處理多項數據。因此，要一個串列的機器模擬並行處理是非常耗時的。

神經網路的另一個問題是對某一個問題構建網路所定義的條件不足 - 有太多因素需要考慮：訓練的演算法、體系結構、每層的神經元個數、有多少層、數據的表現等，還有其它更多因素。因此，隨著時間越來越重要，大部份公司不可能負擔重復的開發神經網路去有效地解決問題。

NN 神經網路，Neural Network
ANNs 人工神經網路，Artificial Neural Networks
neurons 神經元
synapses 神經鍵
self-organizing networks 自我調整網路
networks modelling thermodynamic properties 熱動態性網路模型

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
網格演算法我沒聽說過
好像只有網格計算這個詞

網格計算是伴隨著互聯網技術而迅速發展起來的，專門針對復雜科學計算的新型計算模式。這種計算模式是利用互聯網把分散在不同地理位置的電腦組織成一個「虛擬的超級計算機」，其中每一台參與計算的計算機就是一個「節點」，而整個計算是由成千上萬個「節點」組成的「一張網格」， 所以這種計算方式叫網格計算。這樣組織起來的「虛擬的超級計算機」有兩個優勢，一個是數據處理能力超強；另一個是能充分利用網上的閑置處理能力。簡單地講，網格是把整個網路整合成一台巨大的超級計算機，實現計算資源、存儲資源、數據資源、信息資源、知識資源、專家資源的全面共享。

9. 大家評評理，這黑科技實現後該賣多少錢

對於不少小夥伴來說，科幻電影一定是此生必打卡的影片類型。像是去年大受好評的《流浪地球》，小到救援隊穿的機械外骨骼，大到行星推進器，可以說在中國電影史上羨唯還從未有過一部電影，體現出了如此深厚的科技崇拜。

其實，翻開固特異的歷史，它的壯舉還真是不少：世界上首款量產汽車福特T系列就是它提供的原配輪胎；創造了368次F1冠軍記錄，至今無人超越；更牛的是，創造陸路時速960公里世界紀錄的火箭車和人類首次登月的太空車也是裝備固特異的輪胎；再到近年來所發布的這些概念輪胎，這品牌還是真是「生命不息，折騰不止」！

總結

可能在很多人眼中，輪胎就是四個黑色的橡膠圈，很少有什麼創新或突破。但隨著無人駕駛和電動車的興起，輪胎不再只是橡膠產品，也能匯聚諸多先進科技，甚至腦洞大開。固特異已經向人們展示各種各樣的腦洞，雖然有的腦洞很大，不過要實現科幻電影的情節，還得靠這些腦洞和創新！在未來，輪胎也不僅是一款輪胎那麼簡單，而是智能駕駛生態鏈的重要一環，這只會思考的腳，已向我們大步走來！

本文來源於汽車之家車家號作者，不代表汽車之家的觀點立場。

10. Tensorflow神經網路之LSTM

LSTM 作為門控循環神經網路姿指因此我們從門控單元切入理解。主要包括：

假設隱含狀態長度為h，數據Xt是一個樣本數為n、特徵向量維度為x的批量數據，其計算如下所示（W和b表示權重和偏置）：

最後的輸出其實只有兩個，一個是輸出，一個是狀態，輸出就是Ht，而狀態為(Ct,Ht)，其他都是中間計算過程跡猛配。[^2]

tensorflow 提供了LSTM 實現知兆的一個 basic 版本，不包含 LSTM 的一些高級擴展，同時也提供了一個標准介面，其中包含了 LSTM 的擴展。分別為：tf.nn.rnn_cell.BasicLSTMCell()，tf.nn.rnn_cell.LSTMCell()，我們這里實現一個基本版本。[^1]

[1] tensorflow學習筆記（六）：LSTM 與 GRU

[2] 學會區分 RNN 的 output 和 state