python文本聚類演算法

① 譜聚類（Spectral clustering）（python實現）

譜聚類概念 ：
譜聚類是一種基於圖論的聚類方法，通過對樣本數據的拉普拉斯矩陣的特徵向量進行聚類，從而達到對樣本數據聚類的母的。譜聚類可以理解為將高維空間的數據映射到低維，然後在低維空間用其它聚類演算法（如KMeans）進行聚類。

演算法步驟

1 計算相似度矩陣 W
2 計算度矩陣 D
3 計算拉普拉斯矩陣L=D-W
4 計算L的特徵值，將特徵值從小到大排序，取前k個特徵值.將這個特徵值向量轉換為矩陣
5 通過其他聚類演算法對其進行聚類，如k-means
詳細公式和概念請到 大佬博客

相比較PCA降維中取前k大的特徵值對應的特徵向量，這里取得是前k小的特徵值對應的特徵向量。但是上述的譜聚類演算法並不是最優的，接下來我們一步一步的分解上面的步驟，總結一下在此基礎上進行優化的譜聚類的版本。

python實現
例子一：使用譜聚類從雜訊背景中分割目標

效果圖

例子2：分割圖像中硬幣的區域

效果圖

注意
1）當聚類的類別個數較小的時候，譜聚類的效果會很好，但是當聚類的類別個數較大的時候，則不建議使用譜聚類；

（2）譜聚類演算法使用了降維的技術，所以更加適用於高維數據的聚類；

（3）譜聚類只需要數據之間的相似度矩陣，因此對於處理稀疏數據的聚類很有效。這點傳統聚類演算法（比如K-Means）很難做到

（4）譜聚類演算法建立在譜圖理論基礎上，與傳統的聚類演算法相比，它具有能在任意形狀的樣本空間上聚類且收斂於全局最優解
（5）譜聚類對相似度圖的改變和聚類參數的選擇非常的敏感；

（6）譜聚類適用於均衡分類問題，即各簇之間點的個數相差不大，對於簇之間點個數相差懸殊的聚類問題，譜聚類則不適用；

參考
譜聚類演算法介紹
sklearn官網

② 減法聚類如何用Python實現

下面是一個k-means聚類演算法在python2.7.5上面的具體實現，你需要先安裝Numpy和Matplotlib：
from numpy import *
import time
import matplotlib.pyplot as plt

# calculate Euclidean distance
def euclDistance(vector1, vector2):
return sqrt(sum(power(vector2 - vector1, 2)))
# init centroids with random samples
def initCentroids(dataSet, k):
numSamples, dim = dataSet.shape
centroids = zeros((k, dim))
for i in range(k):
index = int(random.uniform(0, numSamples))
centroids[i, :] = dataSet[index, :]
return centroids
# k-means cluster
def kmeans(dataSet, k):
numSamples = dataSet.shape[0]
# first column stores which cluster this sample belongs to,
# second column stores the error between this sample and its centroid
clusterAssment = mat(zeros((numSamples, 2)))
clusterChanged = True
## step 1: init centroids
centroids = initCentroids(dataSet, k)
while clusterChanged:
clusterChanged = False
## for each sample
for i in xrange(numSamples):
minDist = 100000.0
minIndex = 0
## for each centroid
## step 2: find the centroid who is closest
for j in range(k):
distance = euclDistance(centroids[j, :], dataSet[i, :])
if distance < minDist:
minDist = distance
minIndex = j

## step 3: update its cluster
if clusterAssment[i, 0] != minIndex:
clusterChanged = True
clusterAssment[i, :] = minIndex, minDist**2
## step 4: update centroids
for j in range(k):
pointsInCluster = dataSet[nonzero(clusterAssment[:, 0].A == j)[0]]
centroids[j, :] = mean(pointsInCluster, axis = 0)
print 'Congratulations, cluster complete!'
return centroids, clusterAssment
# show your cluster only available with 2-D data
def showCluster(dataSet, k, centroids, clusterAssment):
numSamples, dim = dataSet.shape
if dim != 2:
print "Sorry! I can not draw because the dimension of your data is not 2!"
return 1
mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
if k > len(mark):
print "Sorry! Your k is too large! please contact Zouxy"
return 1
# draw all samples
for i in xrange(numSamples):
markIndex = int(clusterAssment[i, 0])
plt.plot(dataSet[i, 0], dataSet[i, 1], mark[markIndex])
mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']
# draw the centroids
for i in range(k):
plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize = 12)
plt.show()

③ 編程純小白想問一下，要用python進行文本分析（NPL）,學習路線應該是怎樣的（目標：熟練的分析文獻）

先學文本分析的思路方法，
比如文本表示最簡單的方式是詞袋法，把文本變成向量，每個詞是向量的一個維度，所以中文需要分詞，Python分詞找jieba分詞
文本表示向量以後，就可以開始對應你需要的任務，比如做分類聚類關聯之類的事。比如垃圾郵件分類就是建模對文本內容判斷真或假
不用讀文獻，有問題網路找博客就行了

④ 如何用Python進行大數據挖掘和分析

如何用Python進行大數據挖掘和分析？快速入門路徑圖
大數據無處不在。在時下這個年代，不管你喜歡與否，在運營一個成功的商業的過程中都有可能會遇到它。
什麼是 大數據 ？
大數據就像它看起來那樣——有大量的數據。單獨而言，你能從單一的數據獲取的洞見窮其有限。但是結合復雜數學模型以及強大計算能力的TB級數據，卻能創造出人類無法製造的洞見。大數據分析提供給商業的價值是無形的，並且每天都在超越人類的能力。
大數據分析的第一步就是要收集數據本身，也就是眾所周知的「數據挖掘」。大部分的企業處理著GB級的數據，這些數據有用戶數據、產品數據和地理位置數據。今天，我將會帶著大家一起探索如何用 Python 進行大數據挖掘和分析？
為什麼選擇Python?
Python最大的優點就是簡單易用。這個語言有著直觀的語法並且還是個強大的多用途語言。這一點在大數據分析環境中很重要，並且許多企業內部已經在使用Python了，比如Google，YouTube，迪士尼等。還有，Python是開源的，並且有很多用於數據科學的類庫。
現在，如果你真的要用Python進行大數據分析的話，毫無疑問你需要了解Python的語法，理解正則表達式，知道什麼是元組、字元串、字典、字典推導式、列表和列表推導式——這只是開始。
數據分析流程
一般可以按「數據獲取-數據存儲與提取-數據預處理-數據建模與分析-數據可視化」這樣的步驟來實施一個數據分析項目。按照這個流程，每個部分需要掌握的細分知識點如下：
數據獲取：公開數據、Python爬蟲
外部數據的獲取方式主要有以下兩種。
第一種是獲取外部的公開數據集，一些科研機構、企業、政府會開放一些數據，你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。
另一種獲取外部數據的方式就是爬蟲。
比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息，爬取租房網站上某城市的租房信息，爬取豆瓣評分評分最高的電影列表，獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據，你可以對某個行業、某種人群進行分析。
在爬蟲之前你需要先了解一些 Python 的基礎知識：元素（列表、字典、元組等）、變數、循環、函數………
以及，如何用 Python 庫（urllib、BeautifulSoup、requests、scrapy）實現網頁爬蟲。
掌握基礎的爬蟲之後，你還需要一些高級技巧，比如正則表達式、使用cookie信息、模擬用戶登錄、抓包分析、搭建代理池等等，來應對不同網站的反爬蟲限制。
數據存取：SQL語言
在應對萬以內的數據的時候，Excel對於一般的分析沒有問題，一旦數據量大，就會力不從心，資料庫就能夠很好地解決這個問題。而且大多數的企業，都會以SQL的形式來存儲數據。
SQL作為最經典的資料庫工具，為海量數據的存儲與管理提供可能，並且使數據的提取的效率大大提升。你需要掌握以下技能：
提取特定情況下的數據
資料庫的增、刪、查、改
數據的分組聚合、如何建立多個表之間的聯系
數據預處理：Python（pandas）
很多時候我們拿到的數據是不幹凈的，數據的重復、缺失、異常值等等，這時候就需要進行數據的清洗，把這些影響分析的數據處理好，才能獲得更加精確地分析結果。
對於數據預處理，學會 pandas （Python包）的用法，應對一般的數據清洗就完全沒問題了。需要掌握的知識點如下：
選擇：數據訪問
缺失值處理：對缺失數據行進行刪除或填充
重復值處理：重復值的判斷與刪除
異常值處理：清除不必要的空格和極端、異常數據
相關操作：描述性統計、Apply、直方圖等
合並：符合各種邏輯關系的合並操作
分組：數據劃分、分別執行函數、數據重組
Reshaping：快速生成數據透視表
概率論及統計學知識
需要掌握的知識點如下：
基本統計量：均值、中位數、眾數、百分位數、極值等
其他描述性統計量：偏度、方差、標准差、顯著性等
其他統計知識：總體和樣本、參數和統計量、ErrorBar
概率分布與假設檢驗：各種分布、假設檢驗流程
其他概率論知識：條件概率、貝葉斯等
有了統計學的基本知識，你就可以用這些統計量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可視化的分析，通過各種可視化統計圖，並得出具有指導意義的結果。
Python 數據分析
掌握回歸分析的方法，通過線性回歸和邏輯回歸，其實你就可以對大多數的數據進行回歸分析，並得出相對精確地結論。這部分需要掌握的知識點如下：
回歸分析：線性回歸、邏輯回歸
基本的分類演算法：決策樹、隨機森林……
基本的聚類演算法：k-means……
特徵工程基礎：如何用特徵選擇優化模型
調參方法：如何調節參數優化模型
Python 數據分析包：scipy、numpy、scikit-learn等
在數據分析的這個階段，重點了解回歸分析的方法，大多數的問題可以得以解決，利用描述性的統計分析和回歸分析，你完全可以得到一個不錯的分析結論。
當然，隨著你實踐量的增多，可能會遇到一些復雜的問題，你就可能需要去了解一些更高級的演算法：分類、聚類。
然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型，對於模型的優化，你需要去了解如何通過特徵提取、參數調節來提升預測的精度。
你可以通過 Python 中的 scikit-learn 庫來實現數據分析、數據挖掘建模和分析的全過程。
總結
其實做數據挖掘不是夢，5步就能讓你成為一個Python爬蟲高手!

⑤ python數據挖掘工具包有什麼優缺點

【導讀】python數據挖掘工具包就是scikit-learn，scikit-learn是一個基於NumPy, SciPy,
Matplotlib的開源機器學習工具包，主要涵蓋分類，回歸和聚類演算法，例如SVM，
邏輯回歸，樸素貝葉斯，隨機森林，k-means等演算法，代碼和文檔都非常不錯，在許多Python項目中都有應用。

優點：

1、文檔齊全：官方文檔齊全，更新及時。

2、介面易用：針對所有演算法提供了一致的介面調用規則，不管是KNN、K-Means還是PCA.

3、演算法全面：涵蓋主流機器學習任務的演算法，包括回歸演算法、分類演算法、聚類分析、數據降維處理等。

缺點：

缺點是scikit-learn不支持分布式計算，不適合用來處理超大型數據。

Pandas是一個強大的時間序列數據處理工具包，Pandas是基於Numpy構建的，比Numpy的使用更簡單。最初開發的目的是為了分析財經數據，現在已經廣泛應用在Python數據分析領域中。Pandas，最基礎的數據結構是Series，用它來表達一行數據，可以理解為一維的數組。另一個關鍵的數據結構為DataFrame，它表示的是二維數組

Pandas是基於NumPy和Matplotlib開發的，主要用於數據分析和數據可視化，它的數據結構DataFrame和R語言里的data.frame很像，特別是對於時間序列數據有自己的一套分析機制。有一本書《Python
for Data Analysis》，作者是Pandas的主力開發，依次介紹了iPython, NumPy,
Pandas里的相關功能，數據可視化，數據清洗和加工，時間數據處理等，案例包括金融股票數據挖掘等，相當不錯。

Mlpy是基於NumPy/SciPy的Python機器學習模塊，它是Cython的擴展應用。

關於python數據挖掘工具包的優缺點，就給大家介紹到這里了，scikit-learn提供了一致的調用介面。它基於Numpy和scipy等Python數值計算庫，提供了高效的演算法實現，所以想要學習python，以上的內容得學會。