數據挖掘案例源碼

⑴ 數據挖掘的經典演算法

1. C4.5：是機器學習演算法中的一種分類決策樹演算法，其核心演算法是ID3演算法。
2. K-means演算法：是一種聚類演算法。
3.SVM：一種監督式學習的方法，廣泛運用於統計分類以及回歸分析中
4.Apriori ：是一種最有影響的挖掘布爾關聯規則頻繁項集的演算法。
5.EM：最大期望值法。
6.pagerank：是google演算法的重要內容。
7. Adaboost:是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器然後把弱分類器集合起來，構成一個更強的最終分類器。
8.KNN:是一個理論上比較成熟的的方法，也是最簡單的機器學習方法之一。
9.Naive Bayes：在眾多分類方法中，應用最廣泛的有決策樹模型和樸素貝葉斯（Naive Bayes）
10.Cart：分類與回歸樹，在分類樹下面有兩個關鍵的思想，第一個是關於遞歸地劃分自變數空間的想法，第二個是用驗證數據進行減枝。
關聯規則規則定義
在描述有關關聯規則的一些細節之前，我們先來看一個有趣的故事： 尿布與啤酒的故事。
在一家超市裡，有一個有趣的現象：尿布和啤酒赫然擺在一起出售。但是這個奇怪的舉措卻使尿布和啤酒的銷量雙雙增加了。這不是一個笑話，而是發生在美國沃爾瑪連鎖店超市的真實案例，並一直為商家所津津樂道。沃爾瑪擁有世界上最大的數據倉庫系統，為了能夠准確了解顧客在其門店的購買習慣，沃爾瑪對其顧客的購物行為進行購物籃分析，想知道顧客經常一起購買的商品有哪些。沃爾瑪數據倉庫里集中了其各門店的詳細原始交易數據。在這些原始交易數據的基礎上，沃爾瑪利用數據挖掘方法對這些數據進行分析和挖掘。一個意外的發現是：跟尿布一起購買最多的商品竟是啤酒！經過大量實際調查和分析，揭示了一個隱藏在尿布與啤酒背後的美國人的一種行為模式：在美國，一些年輕的父親下班後經常要到超市去買嬰兒尿布，而他們中有30%～40%的人同時也為自己買一些啤酒。產生這一現象的原因是：美國的太太們常叮囑她們的丈夫下班後為小孩買尿布，而丈夫們在買尿布後又隨手帶回了他們喜歡的啤酒。
按常規思維，尿布與啤酒風馬牛不相及，若不是藉助數據挖掘技術對大量交易數據進行挖掘分析，沃爾瑪是不可能發現數據內在這一有價值的規律的。
數據關聯是資料庫中存在的一類重要的可被發現的知識。若兩個或多個變數的取值之間存在某種規律性，就稱為關聯。關聯可分為簡單關聯、時序關聯、因果關聯。關聯分析的目的是找出資料庫中隱藏的關聯網。有時並不知道資料庫中數據的關聯函數，即使知道也是不確定的，因此關聯分析生成的規則帶有可信度。關聯規則挖掘發現大量數據中項集之間有趣的關聯或相關聯系。Agrawal等於1993年首先提出了挖掘顧客交易資料庫中項集間的關聯規則問題，以後諸多的研究人員對關聯規則的挖掘問題進行了大量的研究。他們的工作包括對原有的演算法進行優化，如引入隨機采樣、並行的思想等，以提高演算法挖掘規則的效率；對關聯規則的應用進行推廣。關聯規則挖掘在數據挖掘中是一個重要的課題，最近幾年已被業界所廣泛研究。

⑵ 數據挖掘演算法與生活中的應用案例

數據挖掘演算法與生活中的應用案例

如何分辨出垃圾郵件」、「如何判斷一筆交易是否屬於欺詐」、「如何判斷紅酒的品質和檔次」、「掃描王是如何做到文字識別的」、「如何判斷佚名的著作是否出自某位名家之手」、「如何判斷一個細胞是否屬於腫瘤細胞」等等，這些問題似乎都很專業，都不太好回答。但是，如果了解一點點數據挖掘的知識，你，或許會有柳暗花明的感覺。
本文，主要想簡單介紹下數據挖掘中的演算法，以及它包含的類型。然後，通過現實中觸手可及的、活生生的案例，去詮釋它的真實存在。 一般來說，數據挖掘的演算法包含四種類型，即分類、預測、聚類、關聯。前兩種屬於有監督學習，後兩種屬於無監督學習，屬於描述性的模式識別和發現。
有監督學習有監督的學習，即存在目標變數，需要探索特徵變數和目標變數之間的關系，在目標變數的監督下學習和優化演算法。例如，信用評分模型就是典型的有監督學習，目標變數為「是否違約」。演算法的目的在於研究特徵變數（人口統計、資產屬性等）和目標變數之間的關系。
分類演算法分類演算法和預測演算法的最大區別在於，前者的目標變數是分類離散型（例如，是否逾期、是否腫瘤細胞、是否垃圾郵件等），後者的目標變數是連續型。一般而言，具體的分類演算法包括，邏輯回歸、決策樹、KNN、貝葉斯判別、SVM、隨機森林、神經網路等。
預測演算法預測類演算法，其目標變數一般是連續型變數。常見的演算法，包括線性回歸、回歸樹、神經網路、SVM等。
無監督學習無監督學習，即不存在目標變數，基於數據本身，去識別變數之間內在的模式和特徵。例如關聯分析，通過數據發現項目A和項目B之間的關聯性。例如聚類分析，通過距離，將所有樣本劃分為幾個穩定可區分的群體。這些都是在沒有目標變數監督下的模式識別和分析。
聚類分析聚類的目的就是實現對樣本的細分，使得同組內的樣本特徵較為相似，不同組的樣本特徵差異較大。常見的聚類演算法包括kmeans、系譜聚類、密度聚類等。
關聯分析關聯分析的目的在於，找出項目（item）之間內在的聯系。常常是指購物籃分析，即消費者常常會同時購買哪些產品（例如游泳褲、防曬霜），從而有助於商家的捆綁銷售。
基於數據挖掘的案例和應用上文所提到的四種演算法類型（分類、預測、聚類、關聯），是比較傳統和常見的。還有其他一些比較有趣的演算法分類和應用場景，例如協同過濾、異常值分析、社會網路、文本分析等。下面，想針對不同的演算法類型，具體的介紹下數據挖掘在日常生活中真實的存在。下面是能想到的、幾個比較有趣的、和生活緊密關聯的例子。
基於分類模型的案例這裡面主要想介紹兩個案例，一個是垃圾郵件的分類和判斷，另外一個是在生物醫葯領域的應用，即腫瘤細胞的判斷和分辨。
垃圾郵件的判別郵箱系統如何分辨一封Email是否屬於垃圾郵件？這應該屬於文本挖掘的范疇，通常會採用樸素貝葉斯的方法進行判別。它的主要原理是，根據郵件正文中的單詞，是否經常出現在垃圾郵件中，進行判斷。例如，如果一份郵件的正文中包含「報銷」、「發票」、「促銷」等詞彙時，該郵件被判定為垃圾郵件的概率將會比較大。
一般來說，判斷郵件是否屬於垃圾郵件，應該包含以下幾個步驟。
第一，把郵件正文拆解成單片語合，假設某篇郵件包含100個單詞。
第二，根據貝葉斯條件概率，計算一封已經出現了這100個單詞的郵件，屬於垃圾郵件的概率和正常郵件的概率。如果結果表明，屬於垃圾郵件的概率大於正常郵件的概率。那麼該郵件就會被劃為垃圾郵件。
醫學上的腫瘤判斷如何判斷細胞是否屬於腫瘤細胞呢？腫瘤細胞和普通細胞，有差別。但是，需要非常有經驗的醫生，通過病理切片才能判斷。如果通過機器學習的方式，使得系統自動識別出腫瘤細胞。此時的效率，將會得到飛速的提升。並且，通過主觀（醫生）+客觀（模型）的方式識別腫瘤細胞，結果交叉驗證，結論可能更加靠譜。
如何操作？通過分類模型識別。簡言之，包含兩個步驟。首先，通過一系列指標刻畫細胞特徵，例如細胞的半徑、質地、周長、面積、光滑度、對稱性、凹凸性等等，構成細胞特徵的數據。其次，在細胞特徵寬表的基礎上，通過搭建分類模型進行腫瘤細胞的判斷。
基於預測模型的案例這裡面主要想介紹兩個案例。即通過化學特性判斷和預測紅酒的品質。另外一個是，通過搜索引擎來預測和判斷股價的波動和趨勢。
紅酒品質的判斷如何評鑒紅酒？有經驗的人會說，紅酒最重要的是口感。而口感的好壞，受很多因素的影響，例如年份、產地、氣候、釀造的工藝等等。但是，統計學家並沒有時間去品嘗各種各樣的紅酒，他們覺得通過一些化學屬性特徵就能夠很好地判斷紅酒的品質了。並且，現在很多釀酒企業其實也都這么幹了，通過監測紅酒中化學成分的含量，從而控制紅酒的品質和口感。
那麼，如何判斷鑒紅酒的品質呢？
第一步，收集很多紅酒樣本，整理檢測他們的化學特性，例如酸性、含糖量、氯化物含量、硫含量、酒精度、PH值、密度等等。
第二步，通過分類回歸樹模型進行預測和判斷紅酒的品質和等級。
搜索引擎的搜索量和股價波動一隻南美洲熱帶雨林中的蝴蝶，偶爾扇動了幾下翅膀，可以在兩周以後，引起美國德克薩斯州的一場龍卷風。你在互聯網上的搜索是否會影響公司股價的波動？
很早之前，就已經有文獻證明，互聯網關鍵詞的搜索量（例如流感）會比疾控中心提前1到2周預測出某地區流感的爆發。
同樣，現在也有些學者發現了這樣一種現象，即公司在互聯網中搜索量的變化，會顯著影響公司股價的波動和趨勢，即所謂的投資者注意力理論。該理論認為，公司在搜索引擎中的搜索量，代表了該股票被投資者關注的程度。因此，當一隻股票的搜索頻數增加時，說明投資者對該股票的關注度提升，從而使得該股票更容易被個人投資者購買，進一步地導致股票價格上升，帶來正向的股票收益。這是已經得到無數論文驗證了的。
基於關聯分析的案例：沃爾瑪的啤酒尿布啤酒尿布是一個非常非常古老陳舊的故事。故事是這樣的，沃爾瑪發現一個非常有趣的現象，即把尿布與啤酒這兩種風馬牛不相及的商品擺在一起，能夠大幅增加兩者的銷量。原因在於，美國的婦女通常在家照顧孩子，所以，她們常常會囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。沃爾瑪從數據中發現了這種關聯性，因此，將這兩種商品並置，從而大大提高了關聯銷售。
啤酒尿布主要講的是產品之間的關聯性，如果大量的數據表明，消費者購買A商品的同時，也會順帶著購買B產品。那麼A和B之間存在關聯性。在超市中，常常會看到兩個商品的捆綁銷售，很有可能就是關聯分析的結果。
基於聚類分析的案例：零售客戶細分對客戶的細分，還是比較常見的。細分的功能，在於能夠有效的劃分出客戶群體，使得群體內部成員具有相似性，但是群體之間存在差異性。其目的在於識別不同的客戶群體，然後針對不同的客戶群體，精準地進行產品設計和推送，從而節約營銷成本，提高營銷效率。
例如，針對商業銀行中的零售客戶進行細分，基於零售客戶的特徵變數（人口特徵、資產特徵、負債特徵、結算特徵），計算客戶之間的距離。然後，按照距離的遠近，把相似的客戶聚集為一類，從而有效的細分客戶。將全體客戶劃分為諸如，理財偏好者、基金偏好者、活期偏好者、國債偏好者、風險均衡者、渠道偏好者等。
基於異常值分析的案例：支付中的交易欺詐偵測採用支付寶支付時，或者刷信用卡支付時，系統會實時判斷這筆刷卡行為是否屬於盜刷。通過判斷刷卡的時間、地點、商戶名稱、金額、頻率等要素進行判斷。這裡面基本的原理就是尋找異常值。如果您的刷卡被判定為異常，這筆交易可能會被終止。
異常值的判斷，應該是基於一個欺詐規則庫的。可能包含兩類規則，即事件類規則和模型類規則。第一，事件類規則，例如刷卡的時間是否異常（凌晨刷卡）、刷卡的地點是否異常（非經常所在地刷卡）、刷卡的商戶是否異常（被列入黑名單的套現商戶）、刷卡金額是否異常（是否偏離正常均值的三倍標准差）、刷卡頻次是否異常（高頻密集刷卡）。第二，模型類規則，則是通過演算法判定交易是否屬於欺詐。一般通過支付數據、賣家數據、結算數據，構建模型進行分類問題的判斷。
基於協同過濾的案例：電商猜你喜歡和推薦引擎電商中的猜你喜歡，應該是大家最為熟悉的。在京東商城或者亞馬遜購物，總會有「猜你喜歡」、「根據您的瀏覽歷史記錄精心為您推薦」、「購買此商品的顧客同時也購買了商品」、「瀏覽了該商品的顧客最終購買了商品」，這些都是推薦引擎運算的結果。
這裡面，確實很喜歡亞馬遜的推薦，通過「購買該商品的人同時購買了**商品」，常常會發現一些質量比較高、較為受認可的書。一般來說，電商的「猜你喜歡」（即推薦引擎）都是在協同過濾演算法（Collaborative Filter）的基礎上，搭建一套符合自身特點的規則庫。即該演算法會同時考慮其他顧客的選擇和行為，在此基礎上搭建產品相似性矩陣和用戶相似性矩陣。基於此，找出最相似的顧客或最關聯的產品，從而完成產品的推薦。
基於社會網路分析的案例：電信中的種子客戶種子客戶和社會網路，最早出現在電信領域的研究。即，通過人們的通話記錄，就可以勾勒出人們的關系網路。電信領域的網路，一般會分析客戶的影響力和客戶流失、產品擴散的關系。
基於通話記錄，可以構建客戶影響力指標體系。採用的指標，大概包括如下，一度人脈、二度人脈、三度人脈、平均通話頻次、平均通話量等。基於社會影響力，分析的結果表明，高影響力客戶的流失會導致關聯客戶的流失。其次，在產品的擴散上，選擇高影響力客戶作為傳播的起點，很容易推動新套餐的擴散和滲透。
此外，社會網路在銀行（擔保網路）、保險（團伙欺詐）、互聯網（社交互動）中也都有很多的應用和案例。
基於文本分析的案例這裡面主要想介紹兩個案例。一個是類似「掃描王」的APP，直接把紙質文檔掃描成電子文檔。相信很多人都用過，這里准備簡單介紹下原理。另外一個是，江湖上總是傳言紅樓夢的前八十回和後四十回，好像並非都是出自曹雪芹之手，這裡面准備從統計的角度聊聊。
字元識別：掃描王APP手機拍照時會自動識別人臉，還有一些APP，例如掃描王，可以掃描書本，然後把掃描的內容自動轉化為word。這些屬於圖像識別和字元識別（Optical Character Recognition）。圖像識別比較復雜，字元識別理解起來比較容易些。
查找了一些資料，字元識別的大概原理如下，以字元S為例。
第一，把字元圖像縮小到標准像素尺寸，例如12*16。注意，圖像是由像素構成，字元圖像主要包括黑、白兩種像素。
第二，提取字元的特徵向量。如何提取字元的特徵，採用二維直方圖投影。就是把字元（12*16的像素圖）往水平方向和垂直方向上投影。水平方向有12個維度，垂直方向有16個維度。這樣分別計算水平方向上各個像素行中黑色像素的累計數量、垂直方向各個像素列上的黑色像素的累計數量。從而得到水平方向12個維度的特徵向量取值，垂直方向上16個維度的特徵向量取值。這樣就構成了包含28個維度的字元特徵向量。
第三，基於前面的字元特徵向量，通過神經網路學習，從而識別字元和有效分類。
文學著作與統計：紅樓夢歸屬這是非常著名的一個爭論，懸而未決。對於紅樓夢的作者，通常認為前80回合是曹雪芹所著，後四十回合為高鶚所寫。其實主要問題，就是想確定，前80回合和後40回合是否在遣詞造句方面存在顯著差異。
這事讓一群統計學家比較興奮了。有些學者通過統計名詞、動詞、形容詞、副詞、虛詞出現的頻次，以及不同詞性之間的相關系做判斷。有些學者通過虛詞（例如之、其、或、亦、了、的、不、把、別、好），判斷前後文風的差異。有些學者通過場景（花卉、樹木、飲食、醫葯與詩詞）頻次的差異，來做統計判斷。總而言之，主要通過一些指標量化，然後比較指標之間是否存在顯著差異，藉此進行寫作風格的判斷。

以上是小編為大家分享的關於數據挖掘演算法與生活中的應用案例的相關內容，更多信息可以關注環球青藤分享更多干貨

⑶ 數據挖掘中最經典的例子"啤酒+尿布"是怎麼回事

在一家超市中，人們發現了一個特別有趣的現象：尿布與啤侍爛酒這兩種風馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的銷量大幅增加了。這可不是一個笑話，而是一直被商家所津津樂道的發生在美國沃爾瑪連鎖超市的真實案例。

美國的婦女通常在家照顧孩子，所以她們經常會囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。這個發現最終為商家帶來了大量的利潤。

(3)數據挖掘案例源碼擴展閱讀：

《啤酒與尿布》是2008年清華大學出版社出版的圖書，作者是高勇。該書講述了啤酒和尿布銷售之間的聯系和啟示。

該故事是數據挖掘技術對歷史數據進行分析的結果，反映數據內在的規律。另外，沃爾瑪派出市場調查人員和分析師對這一數據挖掘結果進行調查分析。大量實際調查和分析揭示了一個隱藏在"尿布與啤酒"背後的美國人的一種消費行為傾向：在美國，一些年輕的父親下班後經常要到超市去買嬰兒尿布，而他們中有30%～40%的人同時也為自己買一些啤酒老瞎漏。產生這一現象的原因是：美國的太太們常叮囑她們的丈夫下班後為小孩買尿布，而丈夫們在神亮買尿布後又隨手帶回了他們喜歡的啤酒。

參考資料：

網路-啤酒與尿布

⑷ 求一些"數據倉庫和數據挖掘"的案例

與商業智能相關的詞彙有例如數據倉庫，數據裝載（ETL），數據挖掘（Data Mining）， 客戶關系管理（CRM），SAS，PeopleSoft, SAP等。理清他們之間的關系才能准確制訂個人職業發展規劃。

到上個世紀九十年代，以數據存儲為目的的聯機分析處理系統（OLTP）已經發展得相當成熟，關系型資料庫的應用已經非常普及，大型企業或部門積累了大量原始數據。這些數據是按照關系型結構存儲，在更新，刪除，有效存儲（少冗餘數據）方面表現出色，但在復雜查詢方面效率卻十分低下。為充分利數沖灶用已有數據，提供復雜查詢，提供更好的決策支持，出現了數據倉庫（Data Warehouse）。數據倉庫與資料庫（這里的資料庫指關系型資料庫）的區別在於，數據倉庫以方便查詢（稱為主題）為目的，打破關系型資料庫理論中標准泛式的約束，將資料庫的數據重新組織和整理，為查詢，報表，聯機分析等提供數據支持。數據倉庫建立起來後，定期的數據裝載（ETL）成為數據倉庫系統一個主要的日常工作。

在數據倉庫發展的同時，一項從大量數據中發現隱含知識的技術也在學術領域興起,這就是數據挖掘。數據挖掘也稱為資料庫知識發現（Knowledge Discovery in Databases, KDD），就是將高級智能計算技術應用於大量數據中，讓計算機在有人或無人指導的情況下從海量數據中發現潛在的，有用的模式（也叫知識）。最初的數據挖掘應用一般需要從組織數據做起，經歷演算法設計（建模），挖掘，評價，改進等步驟。其中組織整理數據占據大部分時間，大約佔到整個數據挖掘項目80%的時間。

數據挖掘是近年來信息爆炸推動下的新興產物，是從海量數據中提取有用知識的熱門技術。傳統的交易型系統，九十年代興起的互連網技術及ERP系統在越來越廉價的存儲設備配合下，產生了大量的數據。但與之相配合的數據分析和知識提取技術在相當長一段時間里沒有大的進展，使得存儲的大量原始數據沒有被充分利用，轉化成指導生產的「知識」，形成「數據的海洋，知識的荒漠」這樣一種奇怪的現象。

數據挖掘(Data Mining)就是從大量數據中判扒發現潛在規律、提取有用知識的方法和技術。因為與資料庫密切相關，又稱為資料庫知識發現(Knowledge Discovery in Databases，KDD)。數據挖掘不但能夠學習已有的知識，而且能夠發現未知的知識；得到的知識是「顯式」的，既能為人所理解，又便於存儲和應用，因此一出現就得到各個領域的重視。從80年代末的初露頭角到90年代末的廣泛應用，以數據挖掘為核心的商業智能(BI)已經成為IT及其它行業中的一個新寵。目前數據挖掘技術在零售業的貨籃數據（Basket data）分析、金融風險預測、產品產量、質量分析、分子生物學、基因工程研究、Internet站點訪問模式發現以及信息搜索和分類等許多領域得到了成功的應用。如果你訪問著名的亞馬遜網上書店(www.amazon.com)，會發現當你選中一本書後，會出現相關的推薦數目「Customers who bought this book also bought」，這背後就是數據挖掘技術在發揮作用。

數據挖掘的真正普及是建立在數據倉庫的成功應用之上。一個設計完善的數據倉庫已經將原始數據經過了整理和變換，在此基礎上再進行深入挖掘就是順理成章的事情。數據挖掘滲透到某些行業，產生了一些特定的應用，比如現在經常會聽到的客戶關系管理（Customer Relationship Management, CRM）。客戶關系管理的概念由來已久，但現代的客戶關系管理一般指以客戶數據為處理對象的一類商業智能應用。通過挖掘客戶信息，發現潛在的消費趨勢或動向。比如電信公司通過分析用戶通話模式（通話時間，時段，通話量等），制訂不同的計費方案，滿足用戶的薯扮同時也提高自己的利潤。同其它應用一樣，客戶關系管理發展到一定階段，會出現相應的系統供應商。據2003年1月的一項調查，CRM市場的領先者從高到低依次為PeopleSoft, Seibel, Oracle, SAP. 微軟公司也將加入CRM市場。

從上可以看出，商業智能的應用領域非常廣泛。它通常以數據倉庫為基礎，以數據挖掘為核心，演變出類似CRM這樣的應用。一個商業智能系統的開發涉及到很多知識和技能，能夠從事商業智能系統開發，那當然是最好不過的。如果沒有這樣的機會，對於想進入商業智能領域的朋友，應該如何規劃自己的職業發展？

首先，根據自己想從事的應用領域，比照該行業商業智能應用所需的知識和經驗，找出自己的長處和不足。比如已經有零售業，醫葯業，製造業的工作經驗，或熟悉資料庫，編程，人工智慧，統計學等。然後補充自己的不足。通過與該領域有經驗人士交流，查閱資料，自學或參加相關培訓或選修大學課程都是彌補自己不足的手段。當你對將要從事的工作心中有數後，可以開始嘗試申請入門級職位。不要編造經歷，但要展示你對所申請職位所具備的相關經驗（如 business方面的）和知識（會用到的技術，名詞，清晰的概念）。在得到入門級職位後，要留心更高級職位用到的技術，軟體等。然後利用業余時間繼續補充相關知識。一旦內部有更高級職位的空缺，你又能夠展示你具備的相關知識，就具有很強的競爭里，因為一般情況下公司都會願意給內部職員一個嘗試的機會的。

如果既沒有business背景，又沒有數據挖掘方面經驗，該如何尋求突破呢？下面的例子不是唯一的道路，有心的朋友應該能得到啟發。

一般正規的呼叫中心（這里指呼出服務）的工作方式是這樣的：每天分析員根據現階段的任務，從大量客戶數據中篩選出響應可能性高的客戶名單，交給業務代表；業務代表根據下達的客戶名單做電話推銷，對每個電話的結果做相應記錄；根據客戶實際響應情況，分析員調整篩選演算法，選出第二天的客戶名單；分析客戶響應或不響應的原因。這就是一個典型的客戶關系管理在呼叫中心應用的例子。

取得一個呼叫中心客戶代表的職位並不難。難的是有沒有看到做客戶代表除每小時11，12元工資外潛在的價值。通過做客戶代表，應該對該中心使用的客戶關系管理系統有了應用經驗，通過與主管或分析員的交流，應該了解交到你手裡的客戶名單是怎麼分析出來的。心中有數後，就是等待時機的出現了。一個客戶篩選演算法的改進建議，一個內部分析員職位的空缺，就是展示自己商業智能方面能力的機會。這時的你，已經具備了其他應聘者所不具備的優勢：有相關工作背景知識，熟悉應用環境和內部主管，提前知道空缺消息…

規劃個人職業發展的時候，在眾多考慮因素中有兩個是非常重要的：所要投入的技術所處的發展階段和能否結合已有專業知識。

一種技術從提出到廣泛應用（或失敗被拋棄）有一定的發展周期，稱為科學技術的生命周期（Technological life cycle）。該周期大致分為創新（Innovators），早期成長（Early adopters），分歧點（Chasm），早期流行（Early majority），晚期流行（Late majority）和衰退階段（Laggards）。對於應用型技術人員來說，早期流行階段是進入一個新技術領域的最佳時機，因為該技術已經通過分歧點的考驗，又處於上升階段，風險最小，競爭最少，更容易脫穎而出。數據挖掘技術現在就處在這樣一個早期流行階段。

數據挖掘的對象是某一專業領域中積累的數據；挖掘過程是一個人機交互、多次反復的過程；挖掘的結果要應用於該專業。因此數據挖掘的整個過程都離不開應用領域的專業知識。「Business First, technique second」是數據挖掘的特點。因此學習數據挖掘不意味著丟棄原有專業知識和經驗。相反，有其它行業背景是從事數據挖掘的一大優勢。如有銷售，財務，機械，製造，call center等工作經驗的，通過學習數據挖掘，可以提升個人職業層次，在不改變原專業的情況下，從原來的事務型角色向分析型角色轉變。

我們正處於一個信息爆炸的年代，能夠在第一時間內獲得或者找到最有價值的信息和資源，則成為企業在激烈地競爭中取勝的重要的因素，所以，商業智能（Business Intelligence）應運而生，而與之相關的技術和工具如Data Warehouse、 Data Mining、SAS則以驚人的速度得到快速、蓬勃的發展。

⑸ python大數據挖掘系列之基礎知識入門 知識整理（入門教程含源碼）

Python在大數據行業非常火爆近兩年，as a pythonic，所以也得涉足下大數據分析，下面就聊聊它們。

Python數據分析與挖掘技術概述

所謂數據分析，即對已知的數據進行分析，然後提取出一些有價值的信息，比如統計平均數，標准差等信息，數據分析的數據量可能不會太大，而數據挖掘，是指對大量的數據進行分析與挖倔，得到一些未知的，有價值的信息等，比如從網站的用戶和用戶行為中挖掘出用戶的潛在需求信息，從而對網站進行改善等。
數據分析與數據挖掘密不可分，數據挖掘是對數據分析的提升。數據挖掘技術可以幫助我們更好的發現事物之間的規律。所以我們可以利用數據挖掘技術可以幫助我們更好的發現事物之間的規律。比如發掘用戶潛在需求，實現信息的個性化推送，發現疾病與病狀甚至病與葯物之間的規律等。

預先善其事必先利其器

我們首先聊聊數據分析的模塊有哪些：

下面就說說這些模塊的基礎使用。

numpy模塊安裝與使用

安裝：
下載地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/
我這里下載的包是1.11.3版本，地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl
下載好後，使用pip install "numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl"
安裝的numpy版本一定要是帶mkl版本的，這樣能夠更好支持numpy

numpy簡單使用

生成隨機數

主要使用numpy下的random方法。

pandas

使用 pip install pandas 即可

直接上代碼：
下面看看pandas輸出的結果， 這一行的數字第幾列，第一列的數字是行數，定位一個通過第一行，第幾列來定位：

常用方法如下：

下面看看pandas對數據的統計，下面就說說每一行的信息

轉置功能：把行數轉換為列數，把列數轉換為行數，如下所示：

通過pandas導入數據

pandas支持多種輸入格式，我這里就簡單羅列日常生活最常用的幾種，對於更多的輸入方式可以查看源碼後者官網。

CSV文件

csv文件導入後顯示輸出的話，是按照csv文件默認的行輸出的，有多少列就輸出多少列，比如我有五列數據，那麼它就在prinit輸出結果的時候，就顯示五列

excel表格

依賴於xlrd模塊，請安裝它。
老樣子，原滋原味的輸出顯示excel本來的結果，只不過在每一行的開頭加上了一個行數

讀取SQL

依賴於PyMySQL，所以需要安裝它。pandas把sql作為輸入的時候，需要制定兩個參數，第一個是sql語句，第二個是sql連接實例。

讀取HTML

依賴於lxml模塊，請安裝它。
對於HTTPS的網頁，依賴於BeautifulSoup4，html5lib模塊。
讀取HTML只會讀取HTML里的表格，也就是只讀取

顯示的是時候是通過python的列表展示，同時添加了行與列的標識

讀取txt文件

輸出顯示的時候同時添加了行與列的標識

scipy

安裝方法是先下載whl格式文件，然後通過pip install 「包名」 安裝。whl包下載地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/scipy-0.18.1-cp35-cp35m-win_amd64.whl

matplotlib 數據可視化分析

我們安裝這個模塊直接使用pip install即可。不需要提前下載whl後通過 pip install安裝。

下面請看代碼：

下面說說修改圖的樣式

關於圖形類型，有下面幾種：

關於顏色，有下面幾種：

關於形狀，有下面幾種：

我們還可以對圖稍作修改，添加一些樣式，下面修改圓點圖為紅色的點，代碼如下：

我們還可以畫虛線圖，代碼如下所示：

還可以給圖添加上標題，x，y軸的標簽,代碼如下所示

直方圖

利用直方圖能夠很好的顯示每一段的數據。下面使用隨機數做一個直方圖。

Y軸為出現的次數，X軸為這個數的值（或者是范圍）

還可以指定直方圖類型通過histtype參數：

圖形區別語言無法描述很詳細，大家可以自信嘗試。

舉個例子：

子圖功能

什麼是子圖功能呢？子圖就是在一個大的畫板裡面能夠顯示多張小圖，每個一小圖為大畫板的子圖。
我們知道生成一個圖是使用plot功能，子圖就是subplog。代碼操作如下：

我們現在可以通過一堆數據來繪圖，根據圖能夠很容易的發現異常。下面我們就通過一個csv文件來實踐下，這個csv文件是某個網站的文章閱讀數與評論數。

先說說這個csv的文件結構，第一列是序號，第二列是每篇文章的URL，第三列每篇文章的閱讀數，第四列是每篇評論數。

我們的需求就是把評論數作為Y軸，閱讀數作為X軸，所以我們需要獲取第三列和第四列的數據。我們知道獲取數據的方法是通過pandas的values方法來獲取某一行的值，在對這一行的值做切片處理，獲取下標為3（閱讀數）和4（評論數）的值，但是，這里只是一行的值，我們需要是這個csv文件下的所有評論數和閱讀數，那怎麼辦？聰明的你會說，我自定義2個列表，我遍歷下這個csv文件，把閱讀數和評論數分別添加到對應的列表裡，這不就行了嘛。呵呵，其實有一個更快捷的方法，那麼就是使用T轉置方法，這樣再通過values方法，就能直接獲取這一評論數和閱讀數了，此時在交給你matplotlib里的pylab方法來作圖，那麼就OK了。了解思路後，那麼就寫吧。

下面看看代碼：

⑹ 數據挖掘技術在信用卡業務中的應用案例

數據挖掘技術在信用卡業務中的應用案例
信用卡業務具有透支筆數巨大、單筆金額小的特點，這使得數據挖掘技術在信用卡業務中的應用成為必然。國外信用卡發卡機構已經廣泛應用數據挖掘技術促進信用卡業務的發展，實現全面的績效管理。我國自1985年發行第一張信用卡以來，信用卡業務得到了長足的發展，積累了巨量的數據，數據挖掘在信用卡業務中的重要性日益顯現。
一、數據挖掘技術在信用卡業務中的應用數據挖掘技術在信用卡業務中的應用主要有分析型客戶關系管理、風險管理和運營管理。
1.分析型CRM
分析型CRM應用包括市場細分、客戶獲取、交叉銷售和客戶流失。信用卡分析人員搜集和處理大量數據，對這些數據進行分析，發現其數據模式及特徵，分析某個客戶群體的特性、消費習慣、消費傾向和消費需求，進而推斷出相應消費群體下一步的消費行為，然後以此為基礎，對所識別出來的消費群體進行特定產品的主動營銷。這與傳統的不區分消費者對象特徵的大規模營銷手段相比，大大節省了營銷成本，提高了營銷效果，從而能為銀行帶來更多的利潤。對客戶採用何種營銷方式是根據響應模型預測得出的客戶購買概率做出的，對響應概率高的客戶採用更為主動、人性化的營銷方式，如電話營銷、上門營銷；對響應概率較低的客戶可選用成本較低的電子郵件和信件營銷方式。除獲取新客戶外，維護已有優質客戶的忠誠度也很重要，因為留住一個原有客戶的成本要遠遠低於開發一個新客戶的成本。在客戶關系管理中，通過數據挖掘技術，找到流失客戶的特徵，並發現其流失規律，就可以在那些具有相似特徵的持卡人還未流失之前，對其進行有針對性的彌補，使得優質客戶能為銀行持續創造價值。
2.風險管理
數據挖掘在信用卡業務中的另一個重要應用就是風險管理。在風險管理中運用數據挖掘技術可建立各類信用評分模型。模型類型主要有三種：申請信用卡評分卡、行為信用評分卡和催收信用評分卡，分別為信用卡業務提供事前、事中、和事後的信用風險控制。
申請評分模型專門用於對新申請客戶的信用評估，它應用於信用卡徵信審核階段，通過申請人填寫的有關個人信息，即可有效、快速地辨別和劃分客戶質量，決定是否審批通過並對審批通過的申請人核定初始信用額度，幫助發卡行從源頭上控制風險。申請評分模型不依賴於人們的主觀判斷或經驗，有利於發卡行推行統一規范的授信政策。行為評分模型是針對已有持卡人，通過對持卡客戶的行為進行監控和預測，從而評估持卡客戶的信用風險，並根據模型結果，智能化地決定是否調整客戶信用額度，在授權時決定是否授權通過，到期換卡時是否進行續卡操作，對可能出現的使其提前進行預警。催收評分模型是申請評分模型和行為評分模型的補充，是在持卡人產生了逾期或壞賬的情況下建立的。催收評分卡被用於預測和評估對某一筆壞賬所採取措施的有效性，諸如客戶對警告信件反應的可能性。這樣，發卡行就可以根據模型的預測，對不同程度的逾期客戶採取相應措施進行處理。以上三種評分模型在建立時，所利用的數據主要是人口統計學數據和行為數據。人口統計學數據包括年齡、性別、婚姻狀況、教育背景、家庭成員特點、住房情況、職業、職稱、收入狀況等。行為數據包括持卡人在過去使用信用卡的表現信息，如使用頻率、金額、還款情況等。由此可見，數據挖掘技術的使用，可以使銀行有效地建立起事前、事中到事後的信用風險控制體系。
3.運營管理
雖然數據挖掘在信用卡運營管理領域的應用不是最重要的，但它已為國外多家發卡公司在提高生產效率、優化流程、預測資金和服務需求、提供服務次序等問題的分析上取得了較大成績。
二、常用的數據挖掘方法
上述數據挖掘技術在信用卡領域的應用中，有很多工具可用於開發預測和描述模型。有些用統計方法，如線性回歸和邏輯回歸；有些有非統計或混合方法，如神經網路、遺傳演算法、決策樹及回歸樹。這里僅討論幾種常見的典型方法。
1.線性回歸
簡單線性回歸分析是量化兩個連續變數之間關系的一種統計技術。這兩個變數分別是因變數(預測變數)。使用這一方法，可以發現一條穿過數據的線，線上的點使對應數據點的方差最小。為市場營銷、風險和客戶關系管理建立模型時，通常有多個自變數，用多個獨立自變數來預測一個連續變數稱為多元線性回歸，用線性回歸方法建立的模型通常具有魯棒性。
2.邏輯回歸
邏輯回歸是使用最廣泛的建模技術，與線性回歸很相似。兩者的主要區別在於邏輯回歸的因變數(想預測變數)不是連續的，而是離散的或者類型變數。如申請評分模型可運用邏輯回歸方法，選取關鍵變數確定回歸系數。以申請者的關鍵變數x1,x2,…xm為自變數，以y=[1 申請者是壞客戶；0 申請者是好客戶，為因變數，則對於二分類因變數，一般假設客戶變壞的概率為 p(y=1)=eβ0 β1×1 … βmxm/1 eβ0 β1×1 … βmxm式中，β0，β1…，βm是常數，即1n(p/1-p)=β0 β1×1 … βmxm
3.神經網路
神經網路處理和回歸處理大不相同，它不依照任何概率分布，而是模仿人腦功能，可以認為它是從每一次經驗中提取並學習信息。神經網路系統由一系列類似於人腦神經元一樣的節點組成，這些節點通過網路彼此互連。如果有數據輸入，它們便可以進行確定數據模式的工作。神經網路由相互連接的輸入層、中間層(或隱藏層)、輸出層組成。中間層由多個節點組成，完成大部分網路工作。輸出層輸出數據分析的執行結果。
4.遺傳演算法
與神經元網路類似，遺傳演算法也不遵循任何概率分布，是源自「適者生存」的進化過程。它首先將問題的可能解按某種形式進行編碼，編碼後的解稱為染色體。隨機選取n個染色體作為初始種群，再根據預定的評價函數對每個染色體計算適應值，性能較好的染色體有較高的適應值。選擇適應值較高的染色體進行復制，並通過遺傳運算元產生一群新的更適應環境的染色體，形成新的種群，直至最後收斂到一個最適應環境的個體，得到問題的最優化解。
5.決策樹
決策樹的目標是逐步將數據分類到不同的組或分支中，在因變數的值上建立最強劃分。由於分類規則比較直觀，所以易於理解。圖1為客戶響應的決策樹，從中很容易識別出響應率最高的組。
三、實例分析
以下以邏輯回歸方法建立信用卡申請評分模型為例，說明數據挖掘技術在信用卡業務中的應用。申請評分模型設計可分為7個基本步驟。
1.定義好客戶和壞客戶的標准
好客戶和壞客戶的標准根據適合管理的需要定義。按照國外的經驗，建立一個預測客戶好壞的風險模型所需的好、壞樣本至少各要有1000個左右。為了規避風險，同時考慮到信用卡市場初期，銀行的效益來源主要是銷售商的傭金、信用卡利息、手續費收入和資金的運作利差。因此，一般銀行把降低客戶的逾期率作為一個主要的管理目標。比如，將壞客戶定義為出現過逾期60天以上的客戶；將壞客戶定義為出現過逾期60天以上的客戶；將好客戶定義為沒有30天以上逾期且當前沒有逾期的客戶。
一般來講，在同一樣本空間內，好客戶的數量要遠遠大於壞客戶的數量。為了保證模型具有較高的識別壞客戶的能力，取好、壞客戶樣本數比率為1：1。
2.確定樣本空間
樣本空間的確定要考慮樣本是否具有代表性。一個客戶是好客戶，表明持卡人在一段觀察期內用卡表現良好；而一個客戶只要出現過「壞」的記錄，就把他認定為壞客戶。所以，一般好客戶的觀察期要比壞客戶長一些、好、壞客戶可以選擇在不同的時間段，即不同的樣本空間內。比如，好客戶的樣本空間為2003年11月-2003年12月的申請人，壞客戶的樣本空間為2003年11月-2004年5月的申請人，這樣既能保證好客戶的表現期較長，又能保證有足夠數量的壞客戶樣本。當然，抽樣的好、壞客戶都應具有代表性。
3.數據來源
在美國，有統一的信用局對個人信用進行評分，通常被稱為「FICO評分」。美國的銀行、信用卡公司和金融機構在對客戶進行信用風險分析時，可以利用信用局對個人的數據報告。在我國，由於徵信系統還不完善，建模數據主要來自申請表。隨著我國全國性徵信系統的逐步完善，未來建模的一部分數據可以從徵信機構收集到。
4.數據整理
大量取樣的數據要真正最後進入模型，必須經過數據整理。在數據處理時應注意檢查數據的邏輯性、區分「數據缺失」和「0」、根據邏輯推斷某些值、尋找反常數據、評估是否真實。可以通過求最小值、最大值和平均值的方法，初步驗證抽樣數據是否隨機、是否具有代表性。
5.變數選擇
變數選擇要同時具有數學統計的正確性和信用卡實際業務的解釋力。Logistic回歸方法是盡可能准確找到能夠預測因變數的自變數，並給予各自變數一定權重。若自變數數量太少，擬合的效果不好，不能很好地預測因變數的情況；若自變數太多，會形成過分擬合，預測因變數的效果同樣不好。所以應減少一些自變數，如用虛擬變數表示不能量化的變數、用單變數和決策樹分析篩選變數。與因變數相關性差不多的自變數可以歸為一類，如地區對客戶變壞概率的影響，假設廣東和福建兩省對壞客戶的相關性分別為-0.381和-0.380，可將這兩個地區歸為一類，另外，可以根據申請表上的信息構造一些自變數，比如結合申請表上「婚姻狀況」和「撫養子女」，根據經驗和常識結合這兩個欄位，構造新變數「已婚有子女」，進入模型分析這個變數是不真正具有統計預測性。
6.模型建立
藉助SAS9軟體，用逐步回歸法對變數進行篩選。這里設計了一種演算法，分為6個步驟。
步驟1：求得多變數相關矩陣(若是虛擬變數，則＞0.5屬於比較相關；若是一般變數，則＞0.7-0.8屬於比較相關)。
步驟2：旋轉主成分分析(一般變數要求＞0.8屬於比較相關；虛擬變數要求＞0.6-0.7屬於比較相關)。
步驟3：在第一主成分和第二主成分分別找出15個變數，共30個變數。
步驟4：計算所有30個變數對好/壞的相關性，找出相關性大的變數加入步驟3得出的變數。
步驟5：計算VIF。若VIF數值比較大，查看步驟1中的相關矩陣，並分別分析這兩個變數對模型的作用，剔除相關性較小的一個。
步驟6：循環步驟4和步驟5，直到找到所有變數，且達到多變數相關矩陣相關性很而單個變數對模型貢獻作用大。
7.模型驗證
在收集數據時，把所有整理好的數據分為用於建立模型的建模樣本和用於模型驗證的對照樣本。對照樣本用於對模型總體預測性、穩定性進行驗證。申請評分模型的模型檢驗指標包括K-S值、ROC、AR等指標。雖然受到數據不幹凈等客觀因素的影響，本例申請評分模型的K-S值已經超過0.4，達到了可以使用的水平。
四、數據挖掘在國內信用卡市場的發展前景
在國外，信用卡業務信息化程度較高，資料庫中保留了大量的數量資源，運用數據技術建立的各類模型在信用卡業務中的實施非常成功。目前國內信用卡發卡銀行首先利用數據挖掘建立申請評分模型，作為在信用卡業務中應用的第一步，不少發卡銀行已經用自己的歷史數據建立了客戶化的申請評分模型。總體而言，數據挖掘在我國信用卡業務中的應用處於數據質量問題，難於構建業務模型。
隨著國內各家發卡銀行已經建立或著手建立數據倉庫，將不同操作源的數據存放到一個集中的環境中，並且進行適當的清洗和轉換。這為數據挖掘提供了一個很好的操作平台，將給數據挖掘帶來各種便利和功能。人民銀行的個人徵信系統也已上線，在全國范圍內形成了個人信用數據的集中。在內部環境和外部環境不斷改善的基礎上，數據挖掘技術在信用卡業務中將具有越來越廣闊的應用前景。

⑺ 數據挖掘的應用分析與舉例

Data Mining在各領域的應用非常廣泛，只要該產業擁有具分析價值與需求的數據倉儲或資料庫，皆可利用Mining工具進行有目的的挖掘分析。一般較常見的應用案例多發生在零售業、直效行銷界、製造業、財務金融保險、通訊業以及醫療服務等。
於銷售數據中發掘顧客的消費習性，並可藉由交易紀錄找出顧客偏好的產品組合，其它包括找出流失顧客的特徵與推出新產品的時機點等等都是零售業常見的實例；直效行銷強調的分眾概念與數據野攜庫行銷方式在導入Data Mining的技術後，使直效行銷的發展性更為強大，例如利用Data Mining分析顧客群之消費行為與交易紀錄，結合基本數據，並依其對品牌價值等級的高低來區隔顧客，進而達到差異化行銷的目的；製造業對Data Mining的需求多運用在品質控管方面，由製造過程中找出影響產品品質最重要的因素，以期提高作業流程的效率。
近來電話公司、信用卡公司、保險公司以及股票交易商對缺虛於詐欺行為的偵測（Fraud Detection）都很有興趣，這些行業每年因為詐欺行為而造成的損失都非常可觀，Data Mining可以伏脊燃從一些信用不良的客戶數據中找出相似特徵並預測可能的詐欺交易，達到減少損失的目的。財務金融業可以利用 Data Mining來分析市場動向，並預測個別公司的營運以及股價走向。Data Mining的另一個獨特的用法是在醫療業，用來預測手術、用葯、診斷、或是流程式控制制的效率。
來自網路。

⑻ 用R語言對vcf文件進行數據挖掘.5 vcf可視化1

目錄

本神裂文介紹的案例和方法簡介里一樣，但是會有更游型閉加詳細的說明。

和之前一樣使用 pinfsc50 包里的數據。vcf數據，參考序列的fasta數據，還有gff格式的注釋數據。

然後租渣蹦出來一段警告文

create.chromR 這個函數會自動確認剛才提到的三個文件里的染色體名字是否對的上。這個例子里染色體名用到了Supercontig，貌似有些不匹配，所以跳出了警告文。這里可以進行可視化，確認沒有問題的話可以進行下一步。
在此我們根據前面文章里的內容直接對數據進行過濾，然後可視化。

可以發現Variants per Site和Nucleotide Content發生了變化。

這個包還可以快速可視化vcf文件。

可以看出DP,MQ都趨向於正規分布。最後的每個窗口的variant count的主峰在0表示這個基因大多是純合體，只有少部分有變異。

通過動手練習我們已經掌握了如何導入vcf文件的數據，然後進行可視化診斷，接下來的文章里會介紹更多的其他用法。

⑼ 數據挖掘源代碼

基本Kmeans演算法實現 C++代碼

#include<iostream>
#include<sstream>
#include<fstream>
#include<vector>
#include<math.h>
#include<stdlib.h>
#definek3//簇的數目
usingnamespacestd;
//存放元組的屬性信息
typedefvector<double>Tuple;//存儲每條數據記錄

intdataNum;//數據集中數據記錄數目
intdimNum;//每條記錄的維數

//計算兩個元組間的歐幾里距離
doublegetDistXY(constTuple&t1,constTuple&t2)
{
	doublesum=0;
	for(inti=1;i<=dimNum;++i)
	{
		sum+=(t1[i]-t2[i])*(t1[i]-t2[i]);
	}
	returnsqrt(sum);
}

//根據質心，決定當前元組屬於哪個簇
intclusterOfTuple(Tuplemeans[],constTuple&tuple){
	doubledist=getDistXY(means[0],tuple);
	doubletmp;
	intlabel=0;//標示屬於哪一個簇
	for(inti=1;i<k;i++){
		tmp=getDistXY(means[i],tuple);
		if(tmp<dist){dist=tmp;label=i;}
	}
	returnlabel;	
}
//獲得給定簇集的平方誤差
doublegetVar(vector<Tuple>clusters[],Tuplemeans[]){
	doublevar=0;
	for(inti=0;i<k;i++)
	{
		vector<Tuple>t=clusters[i];
		for(intj=0;j<t.size();j++)
		{
			var+=getDistXY(t[j],means[i]);
		}
	}
	//cout<<"sum:"<<sum<<endl;
	returnvar;

}
//獲得當前簇的均值（質心）
TuplegetMeans(constvector<Tuple>&cluster){
	
	intnum=cluster.size();
	Tuplet(dimNum+1,0);
	for(inti=0;i<num;i++)
	{
		for(intj=1;j<=dimNum;++j)
		{
			t[j]+=cluster[i][j];
		}
	}
	for(intj=1;j<=dimNum;++j)
		t[j]/=num;
	returnt;
	//cout<<"sum:"<<sum<<endl;
}

voidprint(constvector<Tuple>clusters[])
{
	for(intlable=0;lable<k;lable++)
	{
		cout<<"第"<<lable+1<<"個簇："<<endl;
		vector<Tuple>t=clusters[lable];
		for(inti=0;i<t.size();i++)
		{
			cout<<i+1<<".(";
			for(intj=0;j<=dimNum;++j)
			{
				cout<<t[i][j]<<",";
			}
			cout<<")
";
		}
	}
}

voidKMeans(vector<Tuple>&tuples){
	vector<Tuple>clusters[k];//k個簇
	Tuplemeans[k];//k個中心點
	inti=0;
	//一開始隨機選取k條記錄的值作為k個簇的質心（均值）
	srand((unsignedint)time(NULL));
	for(i=0;i<k;){
		intiToSelect=rand()%tuples.size();
		if(means[iToSelect].size()==0)
		{
			for(intj=0;j<=dimNum;++j)
			{
				means[i].push_back(tuples[iToSelect][j]);
			}
			++i;
		}
	}
	intlable=0;
	//根據默認的質心給簇賦值
	for(i=0;i!=tuples.size();++i){
		lable=clusterOfTuple(means,tuples[i]);
		clusters[lable].push_back(tuples[i]);
	}
	doubleoldVar=-1;
	doublenewVar=getVar(clusters,means);
	cout<<"初始的的整體誤差平方和為："<<newVar<<endl;
	intt=0;
	while(abs(newVar-oldVar)>=1)//當新舊函數值相差不到1即准則函數值不發生明顯變化時，演算法終止
	{
		cout<<"第"<<++t<<"次迭代開始："<<endl;
		for(i=0;i<k;i++)//更新每個簇的中心點
		{
			means[i]=getMeans(clusters[i]);
		}
		oldVar=newVar;
		newVar=getVar(clusters,means);//計算新的准則函數值
		for(i=0;i<k;i++)//清空每個簇
		{
			clusters[i].clear();
		}
		//根據新的質心獲得新的簇
		for(i=0;i!=tuples.size();++i){
			lable=clusterOfTuple(means,tuples[i]);
			clusters[lable].push_back(tuples[i]);
		}
		cout<<"此次迭代之後的整體誤差平方和為："<<newVar<<endl;
	}

	cout<<"Theresultis:
";
	print(clusters);
}
intmain(){

	charfname[256];
	cout<<"請輸入存放數據的文件名：";
	cin>>fname;
	cout<<endl<<"請依次輸入:維數樣本數目"<<endl;
	cout<<endl<<"維數dimNum:";
	cin>>dimNum;
	cout<<endl<<"樣本數目dataNum:";
	cin>>dataNum;
	ifstreaminfile(fname);
	if(!infile){
		cout<<"不能打開輸入的文件"<<fname<<endl;
		return0;
	}
	vector<Tuple>tuples;
	//從文件流中讀入數據
	for(inti=0;i<dataNum&&!infile.eof();++i)
	{
		stringstr;
		getline(infile,str);
		istringstreamistr(str);
		Tupletuple(dimNum+1,0);//第一個位置存放記錄編號，第2到dimNum+1個位置存放實際元素
		tuple[0]=i+1;
		for(intj=1;j<=dimNum;++j)
		{
			istr>>tuple[j];
		}
		tuples.push_back(tuple);
	}

	cout<<endl<<"開始聚類"<<endl;
	KMeans(tuples);
	return0;
}

⑽ 國內的數據挖掘，大數據應用的案例有哪些

1. 亞馬遜的「信息公司」：果全球哪家公司從大數據發掘出了最大價值，截至目前，答案可能非亞馬遜莫屬。亞馬遜也要處理海量數據，這些交易數據的直接價值更大。
作為一家「信息公司」，亞馬遜不僅鉛拿從每個用戶的購買行為中獲得信息，還將每個用戶在其網站上的所有行為都記錄下來

2. 谷歌的意圖：果說有一家科技公司准確定義了「大數據」概念的話，那一定是谷歌。談世根據槐侍搭搜索研究公司comScore的數據，僅2012年3月一個月的時間，谷歌處理的搜索詞條數量就高達122億條。谷歌的體量和規模，使它擁有比其他大多數企業更多的應用大數據的途徑。
3.塔吉特的「數據關聯挖掘」:用先進的統計方法，商家可以通過用戶的購買歷史記錄分析來建立模型，預測未來的購買行為，進而設計促銷活動和個性服務避免用戶流失到其他競爭對手那邊。