流程挖掘演算法實現

㈠ 數據挖掘的方法有哪些

數據挖掘的的方法主要有以下幾點：
1.分類挖掘方法。分類挖掘方法主要利用決策樹進行分類，是一種高效且在數據挖掘方法中佔有重要地位的挖掘方法。為了對數據進行較為准確的測試並據此分類，我們採用決策樹演算法，而決策樹中比較典型的幾種方法為：ID3演算法，此方法具有較強的實用性，適用於大規模數據處理；KNN演算法，此方法算量較大，適用於分別類別的數據處理。
2..聚類分析挖掘方法。聚類分析挖掘方法主要應用於樣品與指標分類研究領域，是一種典型的統計方法，廣泛應用於商業領域。此聚類分析方法根據適用對象不同又可分為四種分析挖掘方法：基於網格的聚類分析方法、基於分層的聚類方法、基於密度的聚類挖掘方法和基於模型的聚類方法。
3.預測方法。預測方法主要用於對知識的預測以及對連續數值型數據的挖掘，傳統的預測方法主要分為：時間序列方法、回歸模型分析法、灰色系統模型分析。而現在預測方法主要採用神經網路與支持向量機演算法，進行數據分析計算，同時可預測未來數據的走向趨勢。

關於大數據挖掘工程師的課程推薦CDA數據分析師的相關課程，課程內容兼顧培養解決數據挖掘流程問題的橫向能力以及解決數據挖掘演算法問題的縱向能力。要求學生具備從數據治理根源出發的思維，通過數字化工作方法來探查業務問題，通過近因分析、宏觀根因分析等手段，再選擇業務流程優化工具還是演算法工具，而非「遇到問題調演算法包」點擊預約免費試聽課。

㈡ 什麼是數據挖掘，或數據挖掘的過程是什麼

1.1 數據挖掘的興起

1.1.1 數據豐富與知識匱乏

整個知識發現過程是由若乾重要步驟組成（數據挖掘只是其中一個重要步驟）：

1）數據清洗：清除數據雜訊和與挖掘主題明顯無關的數據

2）數據集成：將來自多數據源中的相關數據組合到一起

3）數據轉換：將數據轉換為易於進行數據挖掘的數據存儲形式

4）數據挖掘：它是知識挖掘的一個重要步驟，其作用是利用智能方法挖掘數據模式或規律知識

5）模式評估：其作用是根據一定評估標准從挖掘結果篩選出有意義的模式知識

6）知識表示：其作用是利用可視化和知識表達技術，向用戶展示所挖掘出的相關知識

1.1.4 數據挖掘解決的商業問題（案例）

• 客戶行為分析

• 客戶流失分析

• 交叉銷售

• 欺詐檢測

• 風險管理

• 客戶細分

• 廣告定位

• 市場和趨勢分析

㈢ 一分鍾了解互聯網數據挖掘流程

一分鍾了解互聯網數據挖掘流程

1、爬蟲抓取網路數據

真實的數據挖掘項目，一定是從獲取數據開始的，除了通過一些渠道購買或者下載專業數據外，常常需要大家自己動手爬互聯網數據，這個時候，爬蟲就顯得格外重要了。

Nutch爬蟲的主要作用是從網路上抓取網頁數據並建立索引。我們只需指定網站的頂級網址，如taobao.com，爬蟲可以自動探測出頁面內容里新的網址，從而進一步抓取鏈接網頁數據。nutch支持把抓取的數據轉化成文本，如（PDF、WORD、EXCEL、HTML、XML等形式）轉換成純文字字元。

Nutch與Hadoop集成，可以將下載的數據保存到hdfs，用於後續離線分析。使用步驟為：

向hdfs中存入待抓取的網站url

$ hadoop fs -put urldir urldir

註：

第一個urldir為本地文件夾，存放了url數據文件，每行一個url地址

第二個urldir為hdfs的存儲路徑。

啟動nutch，在NUTCH_HONE目錄下執行以下命令

$ bin/nutch crawlurldir –dir crawl -depth 3 –topN 10

命令成功執行後，會在hdfs中生成crawl目錄。

2、MapRece預處理數據

對於下載的原始文本文檔，無法直接進行處理，需要對文本內容進行預處理，包括文檔切分、文本分詞、去停用詞（包括標點、數字、單字和其它一些無意義的詞）、文本特徵提取、詞頻統計、文本向量化等操作。

常用的文本預處理演算法是TF-IDF，其主要思想是，如果某個詞或短語在一篇文章中出現的頻率高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來做分類。

輸入原始文本內容：

Againit seems that cocoa delivered……

執行TF-IDF預處理：

hadoop jar $JAR ……

輸出文本向量:

9219:0.246 453:0.098 10322:0.21 11947:0.272 ……

每一列是詞及其權重，使用冒號分隔，例如「9219:0.246」表示編號為9219的詞，對應原始單詞為「Again」，其權重值為0.246。

3、Mahout數據挖掘

預處理後的數據就可以用來做數據挖掘。Mahout是一個很強大的數據挖掘工具，是分布式機器學習演算法的集合，包括：協同過濾、分類、聚類等。

以LDA演算法為例，它可以將文檔集中每篇文檔的主題按照概率分布的形式給出。它是一種無監督學習演算法，在訓練時不需要手工標注主題，需要的僅僅是指定主題的數量K。此外LDA的另一個優點則是，對於每一個主題均可找出一些詞語來描述它。

輸入預處理後的數據:

9219:0.246 453:0.098 ……

執行LDA挖掘演算法：

mahout cvb –k 20……

輸出挖掘結果：

topic1 {computer,technology,system,internet,machine}

topic2 {play,film,movie,star,director,proction,stage}

我們可以獲知用戶的偏好是哪些主題，這些主題是由一些關鍵片語成。

4、Sqoop導出到關系資料庫

在某些場景下，需要把數據挖掘的結果導出到關系資料庫，用於及時響應外部應用查詢。

sqoop是一個用來把hadoop和關系型資料庫中的數據相互轉移的工具，可以將一個關系型資料庫（例如：MySQL ,Oracle 等）中的數據導入到hadoop的hdfs中，也可以將hdfs的數據導出到關系型資料庫中：

sqoop export –connect jdbc:mysql://localhost:3306/zxtest –username root–password root –table result_test –export-dir /user/mr/lda/out

export操作實現把hdfs目錄/user/mr/lda/out下數據導出到mysql的result_test表。

㈣ 數據挖掘的方法及實施

數據挖掘的方法及實施
作為一門處理數據的新興技術，數據挖掘有許多的新特徵。首先，數據挖掘面對的是海量的數據，這也是數據挖掘產生的原因。其次，數據可能是不完全的、有雜訊的、隨機的，有復雜的數據結構，維數大。最後，數據挖掘是許多學科的交叉，運用了統計學，計算機，數學等學科的技術。以下是常見和應用最廣泛的演算法和模型：
傳統統計方法：①抽樣技術：我們面對的是大量的數據，對所有的數據進行分析是不可能的也是沒有必要的，就要在理論的指導下進行合理的抽樣。②多元統計分析：因子分析，聚類分析等。③統計預測方法，如回歸分析，時間序列分析等。
可視化技術：用圖表等方式把數據特徵用直觀地表述出來，如直方圖等，這其中運用的許多描述統計的方法。可視化技術面對的一個難題是高維數據的可視化。
決策樹：利用一系列規則劃分，建立樹狀圖，可用於分類和預測。常用的演算法有CART、CHAID、ID3、C4.5、C5.0等。
神經網路：模擬人的神經元功能，經過輸入層，隱藏層，輸出層等，對數據進行調整，計算，最後得到結果，用於分類和回歸。
遺傳演算法：基於自然進化理論，模擬基因聯合、突變、選擇等過程的一種優化技術。
關聯規則挖掘演算法：關聯規則是描述數據之間存在關系的規則，形式為「A1∧A2∧…An→B1∧B2∧…Bn」。一般分為兩個步驟：①求出大數據項集。②用大數據項集產生關聯規則。
除了上述的常用方法外，還有粗集方法，模糊集合方法，Bayesian Belief Netords，最鄰近演算法（k-nearest neighbors method（KNN））等。
數據挖掘的實施流程
前面我們討論了數據挖掘的定義，功能和方法，現在關鍵的問題是如何實施，其一般的數據挖掘流程如下：
問題理解和提出→數據准備→數據整理→建立模型→評價和解釋
問題理解和提出：在開始數據挖掘之前最基礎的就是理解數據和實際的業務問題，在這個基礎之上提出問題，對目標有明確的定義。
數據准備：獲取原始的數據，並從中抽取一定數量的子集，建立數據挖掘庫，其中一個問題是如果企業原來的數據倉庫滿足數據挖掘的要求，就可以將數據倉庫作為數據挖掘庫。
數據整理：由於數據可能是不完全的、有雜訊的、隨機的，有復雜的數掘結構，就要對數據進行初步的整理，清洗不完全的數據，做初步的描述分析，選擇與數據挖掘有關的變數，或者轉變變數。
建立模型：根據數據挖掘的目標和數據的特徵，選擇合適的模型。
評價和解釋：對數據挖掘的結果進行評價，選擇最優的模型，作出評價，運用於實際問題，並且要和專業知識結合對結果進行解釋。
以上的流程不是一次完成的，可能其中某些步驟或者全部要反復進行。