分類規則python

『壹』 在python中如何根據已有詞典對文本進行分類

如你所說的這種有簡單規則的，寫個正則匹配就可以了。要滿足更復雜的要求就用挖掘演算法

『貳』 如何運用python對數據進行智能分類

一、枝含首先析頁面源代碼翻頁處如閉特徵按規則取頁址適合頁面址連續通則表達式實現頁面址連續則直接渣搭裂按連續址獲取數據 二、按特徵獲取面址通urllib.request.urlopen(url)首頁面數據..

『叄』 python基本語法規則有哪些

Python基本語法

Python的語法相對比C，C++，Java更加簡潔，比較符合人的正常思維。本篇介紹Python的基本語法，通過本篇文章你可以學到以下內容。

掌握Python的基本語法

識別Python中的關鍵字

Python是一門腳本語言，有以下特點：

面向對象：類

語法塊：使用縮進進行標記

注釋： #單行注釋，"""多行注釋"""，'''我也是多行注釋''

列印與輸出：print(), input()

變數: 變數在賦值的時候確定變數的類型

模塊：通過import 模塊名進行載入模塊

Python的標識符

標識符是用戶編程時使用的名字，用於給變數、常量、函數、語句塊等命名，以建立起名稱與使用之間的關系。標識符通常由字母和數字以及其它字元構成。

標識符的命名遵循以下規定：

開頭以字母或者下劃線_，剩下的字元數字字母或者下劃線

Python遵循小駝峰命名法

不是使用Python中的關鍵字進行命名

代碼示例:

num = 10 # 這是一個int類型變數

錯誤命名示例:

123rate(數字開頭)、 mac book pro(含有空格)，class(關鍵字)

Python關鍵字
以下列表中的關鍵字不可以當做標識符進行使用。Python語言的關鍵字只包含小寫字母。

『肆』 決策樹之ID3演算法及其Python實現

決策樹之ID3演算法及其Python實現

1. 決策樹背景知識
??決策樹是數據挖掘中最重要且最常用的方法之一，主要應用於數據挖掘中的分類和預測。決策樹是知識的一種呈現方式，決策樹中從頂點到每個結點的路徑都是一條分類規則。決策樹演算法最先基於資訊理論發展起來，經過幾十年發展，目前常用的演算法有：ID3、C4.5、CART演算法等。
2. 決策樹一般構建過程
??構建決策樹是一個自頂向下的過程。樹的生長過程是一個不斷把數據進行切分細分的過程，每一次切分都會產生一個數據子集對應的節點。從包含所有數據的根節點開始，根據選取分裂屬性的屬性值把訓練集劃分成不同的數據子集，生成由每個訓練數據子集對應新的非葉子節點。對生成的非葉子節點再重復以上過程，直到滿足特定的終止條件，停止對數據子集劃分，生成數據子集對應的葉子節點，即所需類別。測試集在決策樹構建完成後檢驗其性能。如果性能不達標，我們需要對決策樹演算法進行改善，直到達到預期的性能指標。
??註：分裂屬性的選取是決策樹生產過程中的關鍵，它決定了生成的決策樹的性能、結構。分裂屬性選擇的評判標準是決策樹演算法之間的根本區別。
3. ID3演算法分裂屬性的選擇——信息增益
??屬性的選擇是決策樹演算法中的核心。是對決策樹的結構、性能起到決定性的作用。ID3演算法基於信息增益的分裂屬性選擇。基於信息增益的屬性選擇是指以信息熵的下降速度作為選擇屬性的方法。它以的資訊理論為基礎，選擇具有最高信息增益的屬性作為當前節點的分裂屬性。選擇該屬性作為分裂屬性後，使得分裂後的樣本的信息量最大，不確定性最小，即熵最小。
??信息增益的定義為變化前後熵的差值，而熵的定義為信息的期望值，因此在了解熵和信息增益之前，我們需要了解信息的定義。
??信息：分類標簽xi 在樣本集 S 中出現的頻率記為 p(xi)，則 xi 的信息定義為：?log2p(xi) 。
??分裂之前樣本集的熵：E(S)=?∑Ni=1p(xi)log2p(xi)，其中 N 為分類標簽的個數。
??通過屬性A分裂之後樣本集的熵：EA(S)=?∑mj=1|Sj||S|E(Sj)，其中 m 代表原始樣本集通過屬性A的屬性值劃分為 m 個子樣本集，|Sj| 表示第j個子樣本集中樣本數量，|S| 表示分裂之前數據集中樣本總數量。
??通過屬性A分裂之後樣本集的信息增益：InfoGain(S,A)=E(S)?EA(S)
??註：分裂屬性的選擇標准為：分裂前後信息增益越大越好，即分裂後的熵越小越好。
4. ID3演算法
??ID3演算法是一種基於信息增益屬性選擇的決策樹學習方法。核心思想是：通過計算屬性的信息增益來選擇決策樹各級節點上的分裂屬性，使得在每一個非葉子節點進行測試時，獲得關於被測試樣本最大的類別信息。基本方法是：計算所有的屬性，選擇信息增益最大的屬性分裂產生決策樹節點，基於該屬性的不同屬性值建立各分支，再對各分支的子集遞歸調用該方法建立子節點的分支，直到所有子集僅包括同一類別或沒有可分裂的屬性為止。由此得到一棵決策樹，可用來對新樣本數據進行分類。
ID3演算法流程：
(1) 創建一個初始節點。如果該節點中的樣本都在同一類別，則演算法終止，把該節點標記為葉節點，並用該類別標記。
(2) 否則，依據演算法選取信息增益最大的屬性，該屬性作為該節點的分裂屬性。
(3) 對該分裂屬性中的每一個值，延伸相應的一個分支，並依據屬性值劃分樣本。
(4) 使用同樣的過程，自頂向下的遞歸，直到滿足下面三個條件中的一個時就停止遞歸。
??A、待分裂節點的所有樣本同屬於一類。
??B、訓練樣本集中所有樣本均完成分類。
??C、所有屬性均被作為分裂屬性執行一次。若此時，葉子結點中仍有屬於不同類別的樣本時，選取葉子結點中包含樣本最多的類別，作為該葉子結點的分類。
ID3演算法優缺點分析
優點：構建決策樹的速度比較快，演算法實現簡單，生成的規則容易理解。
缺點：在屬性選擇時，傾向於選擇那些擁有多個屬性值的屬性作為分裂屬性，而這些屬性不一定是最佳分裂屬性；不能處理屬性值連續的屬性；無修剪過程，無法對決策樹進行優化，生成的決策樹可能存在過度擬合的情況。

『伍』 python分類演算法有哪些

常見的分類演算法有：

• K近鄰演算法

• 決策樹

• 樸素貝葉斯

• SVM

• Logistic Regression

『陸』 如何用python實現隨機森林分類

大家如何使用scikit-learn包中的類方法來進行隨機森林演算法的預測。其中講的比較好的是各個參數的具體用途。
這里我給出我的理解和部分翻譯：
參數說明：
最主要的兩個參數是n_estimators和max_features。
n_estimators：表示森林裡樹的個數。理論上是越大越好。但是伴隨著就是計算時間的增長。但是並不是取得越大就會越好，預測效果最好的將會出現在合理的樹個數。
max_features：隨機選擇特徵集合的子集合，並用來分割節點。子集合的個數越少，方差就會減少的越快，但同時偏差就會增加的越快。根據較好的實踐經驗。如果是回歸問題則：
max_features＝n_features，如果是分類問題則max_features＝sqrt(n_features)。

如果想獲取較好的結果，必須將max_depth＝None,同時min_sample_split=1。
同時還要記得進行cross_validated（交叉驗證），除此之外記得在random forest中，bootstrap=True。但在extra-trees中，bootstrap=False。

這里也給出一篇老外寫的文章：調整你的隨機森林模型參數http://www.analyticsvidhya.com/blog/2015/06/tuning-random-forest-model/

這里我使用了scikit-learn自帶的iris數據來進行隨機森林的預測：

[python]view plain

• fromsklearn.

• fromsklearn.

• importnumpyasnp

• fromsklearn.datasetsimportload_iris

• iris=load_iris()

• #printiris#iris的4個屬性是：萼片寬度萼片長度花瓣寬度花瓣長度標簽是花的種類：setosaversicolourvirginica

• printiris['target'].shape

• rf=RandomForestRegressor()#這里使用了默認的參數設置

• rf.fit(iris.data[:150],iris.target[:150])#進行模型的訓練

• #

• #隨機挑選兩個預測不相同的樣本

• instance=iris.data[[100,109]]

• printinstance

• print'instance0prediction；',rf.predict(instance[0])

• print'instance1prediction；',rf.predict(instance[1])

• printiris.target[100],iris.target[109]





• 返回的結果如下：


• (150,)


• [[ 6.3 3.3 6. 2.5]


• [ 7.2 3.6 6.1 2.5]]


• instance 0 prediction； [ 2.]


• instance 1 prediction； [ 2.]


• 2 2




• 在這里我有點困惑，就是在scikit-learn演算法包中隨機森林實際上就是一顆顆決策樹組成的。但是之前我寫的決策樹博客中是可以將決策樹給顯示出來。但是隨機森林卻做了黑盒處理。我們不知道內部的決策樹結構，甚至連父節點的選擇特徵都不知道是誰。所以我給出下面的代碼（這代碼不是我的原創），可以顯示的顯示出所有的特徵的貢獻。所以對於貢獻不大的，甚至是負貢獻的我們可以考慮刪除這一列的特徵值，避免做無用的分類。



[python]view plain

• fromsklearn.cross_validationimportcross_val_score,ShuffleSplit

• X=iris["data"]

• Y=iris["target"]

• names=iris["feature_names"]

• rf=RandomForestRegressor()

• scores=[]

• foriinrange(X.shape[1]):

• score=cross_val_score(rf,X[:,i:i+1],Y,scoring="r2",

• cv=ShuffleSplit(len(X),3,.3))

• scores.append((round(np.mean(score),3),names[i]))

• printsorted(scores,reverse=True)





• 顯示的結果如下：


• [(0.934, 'petal width (cm)'), (0.929, 'petal length (cm)'), (0.597, 'sepal length (cm)'), (0.276, 'sepal width (cm)')]




• 這里我們會發現petal width、petal length這兩個特徵將起到絕對的貢獻，之後是sepal length，影響最小的是sepal width。這段代碼將會提示我們各個特徵的貢獻，可以讓我們知道部分內部的結構。