㈠ 神經網路演算法的必要性
這里的distinct表示去重，也可以用group by實現， 兩者的區別在於distinct會讀取所有的記錄，而group by是在分組之後每組只返回一條記錄，也就是說後者讀取的條數要少很多，效率會更高一些，因此可以將上述代碼改為：
create table validate_set as
select
user_id,
wm_concat(',',brand_id) as brand
from(
select user_id,brand_id
from t_alibaba_bigdata_user_brand_total_1
where type = '1' and visit_datetime > '07-15'
group by user_id,brand_id
)a
group by user_id;
訓練集和測試集建立好之後，我們可以通過以下命令來計算測試集的推薦數目：
select sum(regexp_count(brand,',')+1) from t_tmall_add_user_brand_predict_dh;
其中REGEXP_COUNT是ODPS的一個自建函數，它的用法如下：
bigint regexp_count(string source, string pattern[, bigint start_position])
表示計算 source 中從 start_position 開始，匹配指定模式pattern 的子串的次數。比如我們有一條輸出結果是：100 1,2,3,4，通過計算其中的,數（3）+1=4就計算出推薦的個數了。
UDF計算重復條數
UDF(User-Defined Function)(用戶定義函數)，是用戶根據實際應用的需要而自行開發的函數。在 Eclipse 中的項目下新建 UDF。填入 Package 名稱為：chanvee.udf，和 UDF 類名：CountHits，點擊確認。插件會自動幫我們生成chanvee.udf包用於寫 UDF 代碼，和test.chanvee.udf包用於本地測試。
編輯CountHits.java文件，注意下文的Long不能替換為long類型，否則在ODPS上運行會報Method Not Found錯誤：
package chanvee.udf
import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;
public class CountHits extends UDF {
public Long evaluate (String a,String b){
if(a == null || b == null) {
return 0L; //異常值
}
Set<String> set1 = new HashSet<String>();
Set<String> set2 = new HashSet<String>();
set1.addAll(Arrays.asList(a.split(",")));
set2.addAll(Arrays.asList(b.split(",")));
Long hits = 0L;
for(String s : set2){
if( set1.contains(s) )
hits++;
}
return hits;
}
}
本段函數的主要工作是在a串和b串去重後，計算它們中重復元素的個數。接下來在本地測試下 UDF 。在test.jark.udf包中有兩個文件TestCountHits.java和TestUDFBase.java。由於如果 UDF 的輸入參數是多個的話，本地測試默認的分隔符是逗號，與我們brand中的逗號沖突了。所以修改下TestUDFBase.java文件的第15行的分隔符為空格（當然也可以其他符號）：
private final static String ODPS_SEPARATOR = " ";
同時修改第72行，去掉(String)，原因是Long型不能強制轉換成String：
return callMeth.invoke(UDFClass, input_parameter.toArray()) + "\n";
在TestCountHits.in文件中輸入測試樣例：
123456,444,555,666 123456,666,777,888
888,999 111,222
111,111,222,222 111,222,222,333
運行TestCountHits.java後，在TestCountHits.out文件中得到測試結果（樣例）：
2
0
2
在確認 UDF 沒有問題後，准備上傳。將Package chanvee.udf打成 jar 包，命名為chanvee_udf.jar，置於C:/TOOLS下，執行以下命令:
create resource jar C:/TOOLS/chanvee_udf.jar
create function count_hits chanvee.udf.CountHits jark-udf.jar
上述命令作用分別是將用戶 jar 包上傳到 ODPS 和在 ODPS 上注冊函數並命名為count_hits。現在使用ls functions命令就能看到我們剛剛注冊的函數了。
現在，我們就能像調用一般內建函數一樣調用我們自己的count_hits函數了。計算推薦集和驗證集中的重復條數，有下面代碼：
select sum(count_hits(a.brand,b.brand)) hits from t_tmall_add_user_brand_predict_dh a
join validate_set b on a.user_id = b.user_id;
上面演示了一般 UDF 的創建使用過程，其他類似的 UDF 都可以參考以上過程構建。UDF 是 SQL 的一大工具 ，很多規則演算法都可以用過 UDF 方便地實現。
計算評估值
我們知道准確率的計算公式：precision=hitspnums, 其中 pnum 代表推薦的條數。
召回率的計算公式：recall=hitsrnums, 其中 rnum 為驗證的條數。
F1：
F1=2∗hitspnum+rnum
為了計算方便，我們用full outer join連接驗證集和推薦集，並將計算出的 hits、pnums、rnums 放到臨時表裡:
select sum(count_hits(p.brand,r.brand) hits,
sum(regexp_count(p.brand,',')+1) pnums,
sum(regexp_count(r.brand,',')+1) rnums
from t_tmall_add_user_brand_predict_dh p
full outer join validate_set r on p.user_id = r.user_id
有了這三個值後，就可以用上面的公式輕松計算出評測值了。
select (hits/pnums) precision, (hits/rnums) recall,(2*hits/(pnums+rnums)) F1
from (
select hits , pnums , rnums
from ...
)a;
綜合一下，有如下代碼：
create table evaluation as
select (hits/pnums) precision , (hits/rnums) recall , (2*hits/(pnums+rnums)) F1 ,
hits , pnums , rnums , getdate() eval_time
from (
select sum(count_hits(p.brand,v.brand) hits,
sum(regexp_count(p.brand,',')+1) pnums,
sum(regexp_count(v.brand,',')+1) rnums
from t_tmall_add_user_brand_predict_dh p
full outer join validate_set r on p.user_id = r.user_id
)a;
我們將評測值寫到了evaluation表中，可供組員查看分析。運行一次上面代碼後，若以後再進行評測，可以將第一行改成insert into/overwrite table evaluation後直接運行，這樣可以與上次的結果進行比較。
現在已有的模型演算法就可以在本地測試調優後，再上傳到線上進行評估了。
㈡ 什麼時候使用遺傳演算法 vs 什麼時候使用神經網路
一個遺傳演算法 ( GA ) 搜索技術用於計算找到精確或近似優化和搜索問題的解決方案。神經網路是非線性統計數據建模工具。可以用來建模輸入和輸出之間復雜的關系，或者為數據中的查找模式 。當有一個條目的數量在不同的類中,神經網路可以"學習"分類項還沒有"看見"之前。 比如，人臉識別，語音識別。遺傳演算法可以執行定向搜索解決方案的空間。比如：查找兩點之間的最短路徑。
㈢ 神經網路演算法的優勢與應用
人工神經網路（ANN）以大腦處理機製作為基礎，開發用於建立復雜模式和預測問題的演算法。
首先了解大腦如何處理信息：
在大腦中，有數億個神經元細胞，以電信號的形式處理信息。外部信息或者刺激被神經元的樹突接收，在神經元細胞體中處理，轉化成輸出並通過軸突,傳遞到下一個神經元。下一個神經元可以選擇接受它或拒絕它，這取決於信號的強度。
[圖片上傳失敗...(image-cc0d9d-1512012156403)]
現在，讓我們嘗試了解 ANN 如何工作：
這里， $w_1$ ， $w_2$ ， $w_3$ 給出輸入信號的強度
從上面可以看出，ANN 是一個非常簡單的表示大腦神經元如何工作的結構。
為了使事情變得更清晰，用一個簡單的例子來理解 ANN：一家銀行想評估是否批准貸款申請給客戶，所以，它想預測一個客戶是否有可能違約貸款。它有如下數據：
所以，必須預測列 X。更接近 1 的預測值表明客戶更可能違約。
基於如下例子的神經元結構，嘗試創建人造神經網路結構：
通常，上述示例中的簡單 ANN 結構可以是：
[圖片上傳失敗...(image-1b4516-1512012156403)]
ANN 有一些關鍵優勢，使它們最適合某些問題和情況：
ANN 是具有廣泛應用的強大的模型。以上列舉了幾個突出的例子，但它們在醫葯、安全、銀行、金融、政府、農業和國防等領域有著廣泛的應用。
㈣ 神經網路演算法是用來干什麼的
神經網路演算法是由多個神經元組成的演算法網路。
邏輯性的思維是指根據邏輯規則進行推理的過程；它先將信息化成概念，並用符號表示，然後，根據符號運算按串列模式進行邏輯推理；這一過程可以寫成串列的指令，讓計算機執行。然而，直觀性的思維是將分布式存儲的信息綜合起來，結果是忽然間產生的想法或解決問題的辦法。這種思維方式的根本之點在於以下兩點：
1、信息是通過神經元上的興奮模式分布儲在網路上。
2、信息處理是通過神經元之間同時相互作用的動態過程來完成的。
思維學普遍認為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。
㈤ 人工智慧時代，神經網路的原理及使用方法 | 微課堂
人工智慧時代已經悄然來臨，在計算機技術高速發展的未來，機器是否能代替人腦？也許有些讀者會說，永遠不可能，因為人腦的思考包含感性邏輯。事實上，神經網路演算法正是在模仿人腦的思考方式。想不想知道神經網路是如何「思考」的呢？下面我向大家簡單介紹一下神經網路的原理及使用方法。
所謂人工智慧，就是讓機器具備人的思維和意識。人工智慧主要有三個學派——行為主義、符號主義和連接主義。
行為主義是基於控制論，是在構建感知動作的控制系統。理解行為主義有個很好的例子，就是讓機器人單腳站立，通過感知要摔倒的方向控制兩只手的動作，保持身體的平衡，這就構建了一個感知動作控制系統。
符號主義是基於算數邏輯和表達式。求解問題時，先把問題描述為表達式，再求解表達式。如果你在求解某個問題時，可以用if case這樣的條件語句，和若干計算公式描述出來，這就使用了符號主義的方法，比如「專家系統」。符號主義可以認為是用公式描述的人工智慧，它讓計算機具備了理性思維。但是人類不僅具備理性思維，還具備無法用公式描述的感性思維。比如，如果你看過這篇推送，下回再見到「符號主義」幾個字，你會覺得眼熟，會想到這是人工智慧相關的知識，這是人的直覺，是感性的。
連接主義就是在模擬人的這種感性思維，是在仿造人腦內的神經元連接關系。這張圖給出了人腦中的一根神經元，左側是神經元的輸入，「軸突」部分是神經元的輸出。人腦就是由860億個這樣的神經元首尾相接組成的網路。
神經網路可以讓計算機具備感性思維。我們首先理解一下基於連接主義的神經網路設計過程。這張圖給出了人類從出生到24個月神經網路的變化：
隨著我們的成長，大量的數據通過視覺、聽覺湧入大腦，使我們的神經網路連接，也就是這些神經元連線上的權重發生了變化，有些線上的權重增強了，有些線上的權重減弱了。
我們要用計算機仿出這些神經網路連接關系，讓計算機具備感性思維。
首先需要准備數據，數據量越大越好，以構成特徵和標簽對。如果想識別貓，就要有大量貓的圖片和這張圖片是貓的標簽構成特徵標簽對，然後搭建神經網路的網路結構，再通過反向傳播優化連接的權重，直到模型的識別准確率達到要求，得到最優的連線權重，把這個模型保存起來。最後用保存的模型輸入從未見過的新數據，它會通過前向傳播輸出概率值，概率值最大的一個就是分類和預測的結果。
我們舉個例子來感受一下神經網路的設計過程。鳶尾花可以分為三類：狗尾鳶尾、雜色鳶尾和佛吉尼亞鳶尾。我們拿出一張圖，需要讓計算機判斷這是哪類鳶尾花。人們通過經驗總結出了規律：通過測量花的花萼長、花萼寬、花瓣長、花瓣寬分辨出鳶尾花的類別，比如花萼長>花萼寬，並且花瓣長/花瓣寬>2，則可以判定為這是第一種，雜色鳶尾。看到這里，也許有些讀者已經想到用if、case這樣的條件語句來實現鳶尾花的分類。沒錯，條件語句根據這些信息可以判斷鳶尾花分類，這是一個非常典型的專家系統，這個過程是理性計算。只要有了這些數據，就可以通過條件判定公式計算出是哪類鳶尾花。但是我們發現鳶尾花的種植者在識別鳶尾花的時候並不需要這么理性的計算，因為他們見識了太多的鳶尾花，一看就知道是哪種，而且隨著經驗的增加，識別的准確率會提高。這就是直覺，是感性思維，也是我們這篇文章想要和大家分享的神經網路方法。
這種神經網路設計過程首先需要採集大量的花萼長、花萼寬、花瓣長、花瓣寬，和它們所對應的是哪種鳶尾花。花萼長、花萼寬、花瓣長、花瓣寬叫做輸入特徵，它們對應的分類叫做標簽。大量的輸入特徵和標簽對構建出數據集，再把這個數據集喂入搭建好的神經網路結構，網路通過反向傳播優化參數，得到模型。當有新的、從未見過的輸入特徵，送入神經網路時，神經網路會輸出識別的結果。
展望21世紀初，在近十年神經網路理論研究趨向的背景下，神經網路理論的主要前沿領域包括：
一、對智能和機器關系問題的認識進一步增長。
研究人類智力一直是科學發展中最有意義，也是空前困難的挑戰性問題。人腦是我們所知道的唯一智能系統，具有感知識別、學習、聯想、記憶、推理等智能。我們通過不斷 探索 人類智能的本質以及聯結機制，並用人工系統復現或部分復現，製造各種智能機器，這樣可使人類有更多的時間和機會從事更為復雜、更富創造性的工作。
神經網路是由大量處理單元組成的非線性、自適應、自組織系統，是在現代神經科學研究成果的基礎上提出的，試圖模擬神經網路加工、記憶信息的方式，設計一種新的機器，使之具有人腦風格的信息處理能力。智能理論所面對的課題來自「環境——問題——目的」，有極大的誘惑力與壓力，它的發展方向將是把基於連接主義的神經網路理論、基於符號主義的人工智慧專家系統理論和基於進化論的人工生命這三大研究領域，在共同追求的總目標下，自發而有機地結合起來。
二、神經計算和進化計算的重大發展。
計算和演算法是人類自古以來十分重視的研究領域，本世紀30年代，符號邏輯方面的研究非常活躍。近年來，神經計算和進化計算領域很活躍，有新的發展動向，在從系統層次向細胞層次轉化里，正在建立數學理論基礎。隨著人們不斷 探索 新的計算和演算法，將推動計算理論向計算智能化方向發展，在21世紀人類將全面進入信息 社會 ，對信息的獲取、處理和傳輸問題，對網路路由優化問題，對數據安全和保密問題等等將有新的要求，這些將成為 社會 運行的首要任務。因此，神經計算和進化計算與高速信息網路理論聯系將更加密切，並在計算機網路領域中發揮巨大的作用，例如大范圍計算機網路的自組織功能實現就要進行進化計算。
人類的思維方式正在轉變，從線性思維轉到非線性思維神經元，神經網路都有非線性、非局域性、非定常性、非凸性和混沌等特性。我們在計算智能的層次上研究非線性動力系統、混沌神經網路以及對神經網路的數理研究，進一步研究自適應性子波、非線性神經場的興奮模式、神經集團的宏觀力學等。因為，非線性問題的研究是神經網路理論發展的一個最大動力，也是它面臨的最大挑戰。
以上就是有關神經網路的相關內容，希望能為讀者帶來幫助。
以上內容由蘇州空天信息研究院謝雨宏提供。
㈥ 神經網路——BP演算法
對於初學者來說，了解了一個演算法的重要意義，往往會引起他對演算法本身的重視。BP(Back Propagation，後向傳播)算陸襲法，具有非凡的歷史意義和重大的現實意義。
1969年,作為人工神經網路創始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一書,論證了簡單的線性感知器功能有限,不能解決如「異或」(XOR )這樣的基本問題,而且對多層網路也持悲觀態度。這些論點給神經網路研究以沉重的打擊,很多科學家紛紛離開這一領域,神經網路的研究走向長達10年的低潮時期。[1]
1974年哈佛大學的Paul Werbos發明BP演算法時，正值神經外網路低潮期，並未受到應有的重視。[2]
1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商這個NP完全問題的求解上獲得當時最好成績，引起了轟動[2]。然而,Hopfield的研究成果仍未能指出明斯基等人論點的錯誤所在,要推動神培判經網路研究的全面開展必須直接解除對感知器——多層網路演算法的疑慮。[1]
真正打破明斯基冰封魔咒的是，David Rumelhart等學者出版的《平行分布處理:認知的微觀結構探索》一書。書中完整地提出了BP演算法,系統地解決了多層網路中隱單元連接權的學習問題,並在數學上給出了完整的推導。這是神經網路發展史上的里程碑，BP演算法迅速走紅，掀起了神經網路的第二次高潮。[1,2]
因此，BP演算法的歷史意義：明確地否定了明斯基等人的錯誤觀點，對神經網路第二次高潮具有決定性意義。
這一點是說BP演算法在神經網路領域中的地位和意義。
BP演算法是迄今最成功的神經網路學習演算法，現實任務中使用神經網路時，大多是在使用BP演算法進行訓練[2],包括最近炙手可熱的深度學習概念下的卷積神經網路(CNNs)。
BP神經網路是這樣一種神經網路模型，它是由一個輸入層、一個輸出層和一個或多個隱層構成，它的激活函數採用sigmoid函數，採用BP演算法訓練的多層前饋神經網路。
BP演算法全稱叫作誤差反向傳播(error Back Propagation，或早中兄者也叫作誤差逆傳播)演算法。其演算法基本思想為：在2.1所述的前饋網路中，輸入信號經輸入層輸入，通過隱層計算由輸出層輸出，輸出值與標記值比較，若有誤差，將誤差反向由輸出層向輸入層傳播，在這個過程中，利用梯度下降演算法對神經元權值進行調整。
BP演算法中核心的數學工具就是微積分的 鏈式求導法則 。
BP演算法的缺點，首當其沖就是局部極小值問題。
BP演算法本質上是梯度下降，而它所要優化的目標函數又非常復雜，這使得BP演算法效率低下。
[1]、《BP演算法的哲學思考》，成素梅、郝中華著
[2]、《機器學習》，周志華著
[3]、 Deep Learning論文筆記之（四）CNN卷積神經網路推導和實現
2016-05-13 第一次發布
2016-06-04 較大幅度修改，完善推導過程，修改文章名
2016-07-23 修改了公式推導中的一個錯誤，修改了一個表述錯誤
㈦ 機器學習之人工神經網路演算法
機器學習中有一個重要的演算法，那就是人工神經網路演算法，聽到這個名稱相信大家能夠想到人體中的神經。其實這種演算法和人工神經有一點點相似。當然，這種演算法能夠解決很多的問題，因此在機器學習中有著很高的地位。下面我們就給大家介紹一下關於人工神經網路演算法的知識。
1.神經網路的來源
我們聽到神經網路的時候也時候近一段時間，其實神經網路出現有了一段時間了。神經網路的誕生起源於對大腦工作機理的研究。早期生物界學者們使用神經網路來模擬大腦。機器學習的學者們使用神經網路進行機器學習的實驗，發現在視覺與語音的識別上效果都相當好。在BP演算法誕生以後，神經網路的發展進入了一個熱潮。
2.神經網路的原理
那麼神經網路的學習機理是什麼？簡單來說，就是分解與整合。一個復雜的圖像變成了大量的細節進入神經元，神經元處理以後再進行整合，最後得出了看到的是正確的結論。這就是大腦視覺識別的機理，也是神經網路工作的機理。所以可以看出神經網路有很明顯的優點。
3.神經網路的邏輯架構
讓我們看一個簡單的神經網路的邏輯架構。在這個網路中，分成輸入層，隱藏層，和輸出層。輸入層負責接收信號，隱藏層負責對數據的分解與處理，最後的結果被整合到輸出層。每層中的一個圓代表一個處理單元，可以認為是模擬了一個神經元，若干個處理單元組成了一個層，若干個層再組成了一個網路，也就是」神經網路」。在神經網路中，每個處理單元事實上就是一個邏輯回歸模型，邏輯回歸模型接收上層的輸入，把模型的預測結果作為輸出傳輸到下一個層次。通過這樣的過程，神經網路可以完成非常復雜的非線性分類。
4.神經網路的應用。
圖像識別領域是神經網路中的一個著名應用，這個程序是一個基於多個隱層構建的神經網路。通過這個程序可以識別多種手寫數字，並且達到很高的識別精度與擁有較好的魯棒性。可以看出，隨著層次的不斷深入，越深的層次處理的細節越低。但是進入90年代，神經網路的發展進入了一個瓶頸期。其主要原因是盡管有BP演算法的加速，神經網路的訓練過程仍然很困難。因此90年代後期支持向量機演算法取代了神經網路的地位。
在這篇文章中我們大家介紹了關於神經網路的相關知識，具體的內容就是神經網路的起源、神經網路的原理、神經網路的邏輯架構和神經網路的應用，相信大家看到這里對神經網路知識有了一定的了解，希望這篇文章能夠幫助到大家。