❶ 數據挖掘常用演算法有哪些
1、 樸素貝葉斯
樸素貝葉斯(NB)屬於生成式模型(即需要計算特徵與類的聯合概率分布)，計算過程非常簡單，只是做了一堆計數。NB有一個條件獨立性假設，即在類已知的條件下，各個特徵之間的分布是獨立的。這樣樸素貝葉斯分類器的收斂速度將快於判別模型，如邏輯回歸，所以只需要較少的訓練數據即可。即使NB條件獨立假設不成立，NB分類器在實踐中仍然表現的很出色。它的主要缺點是它不能學習特徵間的相互作用，用mRMR中的R來講，就是特徵冗餘。
2、邏輯回歸(logistic regression)
邏輯回歸是一個分類方法，屬於判別式模型，有很多正則化模型的方法(L0，L1，L2)，而且不必像在用樸素貝葉斯那樣擔心特徵是否相關。與決策樹與SVM相比，還會得到一個不錯的概率解釋，甚至可以輕松地利用新數據來更新模型(使用在線梯度下降演算法online gradient descent)。如果需要一個概率架構(比如，簡單地調節分類閾值，指明不確定性，或者是要獲得置信區間)，或者希望以後將更多的訓練數據快速整合到模型中去，那麼可以使用它。
3、 線性回歸
線性回歸是用於回歸的，而不像Logistic回歸是用於分類，其基本思想是用梯度下降法對最小二乘法形式的誤差函數進行優化。
4、最近鄰演算法——KNN
KNN即最近鄰演算法，其主要過程為：計算訓練樣本和測試樣本中每個樣本點的距離(常見的距離度量有歐式距離，馬氏距離等);對上面所有的距離值進行排序;選前k個最小距離的樣本;根據這k個樣本的標簽進行投票，得到最後的分類類別;如何選擇一個最佳的K值，這取決於數據。
5、決策樹
決策樹中很重要的一點就是選擇一個屬性進行分枝，因此要注意一下信息增益的計算公式，並深入理解它。
6、SVM支持向量機
高准確率，為避免過擬合提供了很好的理論保證，而且就算數據在原特徵空間線性不可分，只要給個合適的核函數，它就能運行得很好。在動輒超高維的文本分類問題中特別受歡迎。可惜內存消耗大，難以解釋，運行和調參也有些煩人，而隨機森林卻剛好避開了這些缺點，比較實用。