A. python數據統計分析
1. 常用函數庫
scipy包中的stats模塊和statsmodels包是python常用的數據分析工具，scipy.stats以前有一個models子模塊，後來被移除了。這個模塊被重寫並成為了現在獨立的statsmodels包。
scipy的stats包含一些比較基本的工具，比如：t檢驗，正態性檢驗，卡方檢驗之類，statsmodels提供了更為系統的統計模型，包括線性模型，時序分析，還包含數據集，做圖工具等等。
2. 小樣本數據的正態性檢驗
(1) 用途
夏皮羅維爾克檢驗法 (Shapiro-Wilk) 用於檢驗參數提供的一組小樣本數據線是否符合正態分布，統計量越大則表示數據越符合正態分布，但是在非正態分布的小樣本數據中也經常會出現較大的W值。需要查表來估計其概率。由於原假設是其符合正態分布，所以當P值小於指定顯著水平時表示其不符合正態分布。
正態性檢驗是數據分析的第一步，數據是否符合正態性決定了後續使用不同的分析和預測方法，當數據不符合正態性分布時，我們可以通過不同的轉換方法把非正太態數據轉換成正態分布後再使用相應的統計方法進行下一步操作。
(2) 示例
(3) 結果分析
返回結果 p-value=0.029035290703177452，比指定的顯著水平（一般為5%）小，則拒絕假設：x不服從正態分布。
3. 檢驗樣本是否服務某一分布
(1) 用途
科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數據是否服從某一分布，僅適用於連續分布的檢驗。下例中用它檢驗正態分布。
(2) 示例
(3) 結果分析
生成300個服從N(0,1)標准正態分布的隨機數，在使用k-s檢驗該數據是否服從正態分布，提出假設：x從正態分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態分布。這並不是說x服從正態分布一定是正確的，而是說沒有充分的證據證明x不服從正態分布。因此我們的假設被接受，認為x服從正態分布。如果p-value小於我們指定的顯著性水平，則我們可以肯定地拒絕提出的假設，認為x肯定不服從正態分布，這個拒絕是絕對正確的。
4.方差齊性檢驗
(1) 用途
方差反映了一組數據與其平均值的偏離程度，方差齊性檢驗用以檢驗兩組或多組數據與其平均值偏離程度是否存在差異，也是很多檢驗和演算法的先決條件。
(2) 示例
(3) 結果分析
返回結果 p-value=0.19337536323599344, 比指定的顯著水平（假設為5%）大，認為兩組數據具有方差齊性。
5. 圖形描述相關性
(1) 用途
最常用的兩變數相關性分析，是用作圖描述相關性，圖的橫軸是一個變數，縱軸是另一變數，畫散點圖，從圖中可以直觀地看到相關性的方向和強弱，線性正相關一般形成由左下到右上的圖形；負面相關則是從左上到右下的圖形，還有一些非線性相關也能從圖中觀察到。
(2) 示例
(3) 結果分析
從圖中可以看到明顯的正相關趨勢。
6. 正態資料的相關分析
(1) 用途
皮爾森相關系數（Pearson correlation coefficient）是反應兩變數之間線性相關程度的統計量，用它來分析正態分布的兩個連續型變數之間的相關性。常用於分析自變數之間，以及自變數和因變數之間的相關性。
(2) 示例
(3) 結果分析
返回結果的第一個值為相關系數表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變數的相關性越強，絕對值越接近0說明兩個變數的相關性越差。當兩個變數完全不相關時相關系數為0。第二個值為p-value，統計學上，一般當p-value<0.05時，可以認為兩變數存在相關性。
7. 非正態資料的相關分析
(1) 用途
斯皮爾曼等級相關系數(Spearman』s correlation coefficient for ranked data )，它主要用於評價順序變數間的線性相關關系，在計算過程中，只考慮變數值的順序（rank, 值或稱等級），而不考慮變數值的大小。常用於計算類型變數的相關性。
(2) 示例
(3) 結果分析
返回結果的第一個值為相關系數表示線性相關程度，本例中correlation趨近於1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。
8. 單樣本T檢驗
(1) 用途
單樣本T檢驗，用於檢驗數據是否來自一致均值的總體，T檢驗主要是以均值為核心的檢驗。注意以下幾種T檢驗都是雙側T檢驗。
(2) 示例
(3) 結果分析
本例中生成了2列100行的數組，ttest_1samp的第二個參數是分別對兩列估計的均值，p-value返回結果，第一列1.47820719e-06比指定的顯著水平（一般為5%）小，認為差異顯著，拒絕假設；第二列2.83088106e-01大於指定顯著水平，不能拒絕假設：服從正態分布。
9. 兩獨立樣本T檢驗
(1) 用途
由於比較兩組數據是否來自於同一正態分布的總體。注意：如果要比較的兩組數據不滿足方差齊性， 需要在ttest_ind()函數中添加參數equal_var = False。
(2) 示例
(3) 結果分析
返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.19313343989106416，比指定的顯著水平（一般為5%）大，不能拒絕假設，兩組數據來自於同一總結，兩組數據之間無差異。
10. 配對樣本T檢驗
(1) 用途
配對樣本T檢驗可視為單樣本T檢驗的擴展，檢驗的對象由一群來自正態分布獨立樣本更改為二群配對樣本觀測值之差。它常用於比較同一受試對象處理的前後差異，或者按照某一條件進行兩兩配對分別給與不同處理的受試對象之間是否存在差異。
(2) 示例
(3) 結果分析
返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.80964043445811551，比指定的顯著水平（一般為5%）大，不能拒絕假設。
11. 單因素方差分析
(1) 用途
方差分析(Analysis of Variance，簡稱ANOVA)，又稱F檢驗，用於兩個及兩個以上樣本均數差別的顯著性檢驗。方差分析主要是考慮各組之間的平均數差別。
單因素方差分析（One-wayAnova），是檢驗由單一因素影響的多組樣本某因變數的均值是否有顯著差異。
當因變數Y是數值型，自變數X是分類值，通常的做法是按X的類別把實例成分幾組，分析Y值在X的不同分組中是否存在差異。
(2) 示例
(3) 結果分析
返回結果的第一個值為統計量，它由組間差異除以組間差異得到，上例中組間差異很大，第二個返回值p-value=6.2231520821576832e-19小於邊界值（一般為0.05）,拒絕原假設, 即認為以上三組數據存在統計學差異，並不能判斷是哪兩組之間存在差異 。只有兩組數據時，效果同 stats.levene 一樣。
12. 多因素方差分析
(1) 用途
當有兩個或者兩個以上自變數對因變數產生影響時，可以用多因素方差分析的方法來進行分析。它不僅要考慮每個因素的主效應，還要考慮因素之間的交互效應。
(2) 示例
(3) 結果分析
上述程序定義了公式，公式中，"~"用於隔離因變數和自變數，」+「用於分隔各個自變數， ":"表示兩個自變數交互影響。從返回結果的P值可以看出，X1和X2的值組間差異不大，而組合後的T:G的組間有明顯差異。
13. 卡方檢驗
(1) 用途
上面介紹的T檢驗是參數檢驗，卡方檢驗是一種非參數檢驗方法。相對來說，非參數檢驗對數據分布的要求比較寬松，並且也不要求太大數據量。卡方檢驗是一種對計數資料的假設檢驗方法，主要是比較理論頻數和實際頻數的吻合程度。常用於特徵選擇，比如，檢驗男人和女人在是否患有高血壓上有無區別，如果有區別，則說明性別與是否患有高血壓有關，在後續分析時就需要把性別這個分類變數放入模型訓練。
基本數據有R行C列, 故通稱RC列聯表(contingency table), 簡稱RC表，它是觀測數據按兩個或更多屬性（定性變數）分類時所列出的頻數表。
(2) 示例
(3) 結果分析
卡方檢驗函數的參數是列聯表中的頻數，返回結果第一個值為統計量值，第二個結果為p-value值，p-value=0.54543425102570975，比指定的顯著水平（一般5%）大，不能拒絕原假設，即相關性不顯著。第三個結果是自由度，第四個結果的數組是列聯表的期望值分布。
14. 單變數統計分析
(1) 用途
單變數統計描述是數據分析中最簡單的形式，其中被分析的數據只包含一個變數，不處理原因或關系。單變數分析的主要目的是通過對數據的統計描述了解當前數據的基本情況，並找出數據的分布模型。
單變數數據統計描述從集中趨勢上看，指標有：均值，中位數，分位數，眾數；從離散程度上看，指標有：極差、四分位數、方差、標准差、協方差、變異系數，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數值型變數）和頻數，構成比（分類或等級變數）。
此外，還可以用統計圖直觀展示數據分布特徵，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。
15. 多元線性回歸
(1) 用途
多元線性回歸模型（multivariable linear regression model ），因變數Y（計量資料）往往受到多個變數X的影響，多元線性回歸模型用於計算各個自變數對因變數的影響程度，可以認為是對多維空間中的點做線性擬合。
(2) 示例
(3) 結果分析
直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義，從上例中可以看到收入INCOME最有顯著性。
16. 邏輯回歸
(1) 用途
當因變數Y為2分類變數（或多分類變數時）可以用相應的logistic回歸分析各個自變數對因變數的影響程度。
(2) 示例
(3) 結果分析
直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義。
B. Python 數據可視化：數據分布統計圖和熱圖
本課將繼續介紹 Seaborn 中的統計圖。一定要牢記，Seaborn 是對 Matplotlib 的高級封裝，它優化了很多古老的做圖過程，因此才會看到一個函數解決問題的局面。
在統計學中，研究數據的分布情況，也是一個重要的工作，比如某些數據是否為正態分布——某些機器學習模型很在意數據的分布情況。
在 Matplotlib 中，可以通過繪制直方圖將數據的分布情況可視化。在 Seaborn 中，也提供了繪制直方圖的函數。
輸出結果：
sns.distplot 函數即實現了直方圖，還順帶把曲線畫出來了——曲線其實代表了 KDE。
除了 sns.distplot 之外，在 Seaborn 中還有另外一個常用的繪制數據分布的函數 sns.kdeplot，它們的使用方法類似。
首先看這樣一個示例。
輸出結果：
① 的作用是設置所得圖示的背景顏色，這樣做的目的是讓下面的 ② 繪制的圖像顯示更清晰，如果不設置 ①，在顯示的圖示中看到的就是白底圖像，有的部分看不出來。
② 最終得到的是坐標網格，而且在圖中分為三部分，如下圖所示。
相對於以往的坐標網格，多出了 B 和 C 兩個部分。也就是說，不僅可以在 A 部分繪制某種統計圖，在 B 和 C 部分也可以繪制。
繼續操作：
輸出結果：
語句 ③ 實現了在坐標網格中繪制統計圖的效果，jp.plot 方法以兩個繪圖函數為參數，分別在 A 部分繪制了回歸統計圖，在 B 和 C 部分繪制了直方圖，而且直方圖分別表示了對應坐標軸數據的分布，即：
我們把有語句 ② 和 ③ 共同實現的統計圖，稱為聯合統計圖。除了用 ② ③ 兩句可以繪制這種圖之外，還有一個函數也能夠「兩步並作一步」，具體如下：
輸出結果：
C. Python數據分析案例-葯店銷售數據分析
最近學習了Python數據分析的一些基礎知識，就找了一個葯品數據分析的小項目來練一下手。
數據分析的目的：
本篇文章中，假設以朝陽醫院2018年銷售數據為例，目的是了解朝陽醫院在2018年裡的銷售情況，通過對朝陽區醫院的葯品銷售數據的分析，了解朝陽醫院的患者的月均消費次數，月均消費金額、客單價以及消費趨勢、需求量前幾位的葯品等。
數據分析基本過程包括：獲取數據、數據清洗、構建模型、數據可視化以及消費趨勢分析。
數據准備
數據是存在Excel中的，可以使用pandas的Excel文件讀取函數將數據讀取到內存中，這里需要注意的是文件名和Excel中的sheet頁的名字。讀取完數據後可以對數據進行預覽和查看一些基本信息。
獲取數據：朝陽醫院2018年銷售數據.xlsx(非真實數據) 提取碼: 6xm2
導入原始數據
數據准備
數據是存在Excel中的，可以使用pandas的Excel文件讀取函數將數據讀取到內存中，這里需要注意的是文件名和Excel中的sheet頁的名字。讀取完數據後可以對數據進行預覽和查看一些基本信息。
獲取數據：朝陽醫院2018年銷售數據.xlsx(非真實數據) 提取碼: 6xm2
導入原始數據
數據清洗
數據清洗過程包括：選擇子集、列名重命名、缺失數據處理、數據類型轉換、數據排序及異常值處理
（1）選擇子集
在我們獲取到的數據中，可能數據量非常龐大，並不是每一列都有價值都需要分析，這時候就需要從整個數據中選取合適的子集進行分析，這樣能從數據中獲取最大價值。在本次案例中不需要選取子集，暫時可以忽略這一步。
（2）列重命名
在數據分析過程中，有些列名和數據容易混淆或產生歧義，不利於數據分析，這時候需要把列名換成容易理解的名稱，可以採用rename函數實現：
（3）缺失值處理
獲取的數據中很有可能存在缺失值，通過查看基本信息可以推測「購葯時間」和「社保卡號」這兩列存在缺失值，如果不處理這些缺失值會干擾後面的數據分析結果。
缺失數據常用的處理方式為刪除含有缺失數據的記錄或者利用演算法去補全缺失數據。
在本次案例中為求方便，直接使用dropna函數刪除缺失數據，具體如下：
（4）數據類型轉換
在導入數據時為了防止導入不進來，會強制所有數據都是object類型，但實際數據分析過程中「銷售數量」，「應收金額」，「實收金額」，這些列需要浮點型（float）數據，「銷售時間」需要改成時間格式，因此需要對數據類型進行轉換。
可以使用astype()函數轉為浮點型數據：
在「銷售時間」這一列數據中存在星期這樣的數據，但在數據分析過程中不需要用到，因此要把銷售時間列中日期和星期使用split函數進行分割，分割後的時間，返回的是Series數據類型：
此時時間是沒有按順序排列的，所以還是需要排序一下，排序之後索引會被打亂，所以也需要重置一下索引。
其中by:表示按哪一列進行排序，ascending=True表示升序排列，ascending=False表示降序排列
先查看數據的描述統計信息
通過描述統計信息可以看到，「銷售數量」、「應收金額」、「實收金額」這三列數據的最小值出現了負數，這明顯不符合常理，數據中存在異常值的干擾，因此要對數據進一步處理，以排除異常值的影響：
數據清洗完成後，需要利用數據構建模型（就是計算相應的業務指標），並用可視化的方式呈現結果。
月均消費次數 = 總消費次數 / 月份數（同一天內，同一個人所有消費算作一次消費）
月均消費金額 = 總消費金額 / 月份數
客單價 = 總消費金額 / 總消費次數
從結果可以看出，每天消費總額差異較大，除了個別天出現比較大筆的消費，大部分人消費情況維持在1000-2000元以內。
接下來，我銷售時間先聚合再按月分組進行分析：
結果顯示，7月消費金額最少，這是因為7月份的數據不完整，所以不具參考價值。
1月、4月、5月和6月的月消費金額差異不大.
2月和3月的消費金額迅速降低，這可能是2月和3月處於春節期間，大部分人都回家過年的原因。
d. 分析葯品銷售情況
對「商品名稱」和「銷售數量」這兩列數據進行聚合為Series形式，方便後面統計，並按降序排序：
截取銷售數量最多的前十種葯品，並用條形圖展示結果：
結論：對於銷售量排在前幾位的葯品，醫院應該時刻關注，保證葯品不會短缺而影響患者。得到銷售數量最多的前十種葯品的信息，這些信息也會有助於加強醫院對葯房的管理。
每天的消費金額分布情況：一橫軸為時間，縱軸為實收金額畫散點圖。
結論： 從散點圖可以看出，每天消費金額在500以下的占絕大多數，個別天存在消費金額很大的情況。
</article>
D. python數據標簽分布是幹啥的
一般是根據分析目的，將數據進行分組，研究各組別分布規律的一種分析方法。數據分組方式有兩種：等距或不等距分組。
分布分析在實際的數據分析實踐中應用非常廣泛，常見的有用戶性別分布，用戶年齡分布，用戶消費分布等等。
本文將進行如下知識點講解：
1.數據類型的修改
2.新欄位生成方法
3.數據有效性校驗
4.性別與年齡分布
分布分析
1.導入相關庫包
import pandas as pd
import matplotlib.pyplot as plt
import math
2.數據處理
>>> df = pd.read_csv('UserInfo.csv')
>>> df.info()
RangeIndex: 1000000 entries, 0 to 999999
Data columns (total 4 columns):
UserId 1000000 non-null int64
CardId 1000000 non-null int64
LoginTime 1000000 non-null object
DeviceType 1000000 non-null object
dtypes: int64(2), object(2)
memory usage: 30.5+ MB
由於接下來我們需要做年齡分布分析，但是從源數據info()方法可知，並無年齡欄位，需要自己生成。
# 查看年齡區間，進行分區
>>> df['Age'].max(),df['Age'].min()
# (45, 18)
>>> bins = [0,18,25,30,35,40,100]
>>> labels = ['18歲及以下','19歲到25歲','26歲到30歲','31歲到35歲','36歲到40歲','41歲及以上']
>>> df['年齡分層'] = pd.cut(df['Age'],bins, labels = labels)
3.計算年齡
由於數據來源於線下，並未進行數據有效性驗證，在進行年齡計算前，先針對數據進行識別，驗證。
# 提取出生日期：月和日
>>> df[['month','day']] = df['DateofBirth'].str.split('-',expand=True).loc[:,1:2]
# 提取小月，查看是否有31號
>>> df_small_month = df[df['month'].isin(['02','04','06','09','11'])]
# 無效數據，如圖所示
>>> df_small_month[df_small_month['day']=='31']
# 統統刪除，均為無效數據
>>> df.drop(df_small_month[df_small_month['day']=='31'].index,inplace=True)
# 同理，校驗2月
>>> df_2 = df[df['month']=='02']
# 2月份的校驗大家可以做的仔細點兒，先判斷是否潤年再進行刪減
>>> df_2[df_2['day'].isin(['29','30','31'])]
# 統統刪除
>>> df.drop(df_2[df_2['day'].isin(['29','30','31'])].index,inplace=True)
# 計算年齡
# 方法一
>>> df['Age'] = df['DateofBirth'].apply(lambda x : math.floor((pd.datetime.now() - pd.to_datetime(x)).days/365))
# 方法二
>>> df['DateofBirth'].apply(lambda x : pd.datetime.now().year - pd.to_datetime(x).year)
4.年齡分布
# 查看年齡區間，進行分區
>>> df['Age'].max(),df['Age'].min()
# (45, 18)
>>> bins = [0,18,25,30,35,40,100]
>>> labels = ['18歲及以下','19歲到25歲','26歲到30歲','31歲到35歲','36歲到40歲','41歲及以上']
>>> df['年齡分層'] = pd.cut(df['Age'],bins, labels = labels)
由於該數據記錄的是用戶登錄信息，所以必定有重復數據。而Python如此強大，一個nunique()方法就可以進行去重統計了。
# 查看是否有重復值
>>> df.plicated('UserId').sum() #47681
# 數據總條目
>>> df.count() #980954
分組後用count()方法雖然也能夠計算分布情況，但是僅限於無重復數據的情況。而Python這么無敵，提供了nunique()方法可用於計算含重復值的情況
E. Python數據分析(八):農糧組織數據集探索性分析(EDA)
這里我們用 FAO(Food and Agriculture Organization) 組織提供的數據集，練習一下如何利用python進行探索性數據分析。
我們先導入需要用到的包
接下來，載入數據集
看一下數據量，
看一下數據的信息，
我們先來看一下variable,variable_full這兩列的信息，
看一下統計了多少國家，
看一下有多少個時間周期，
看一下時間周期有哪些，
我們看一下某一列某個指標的缺失值的個數，比如variable是total_area時缺失值的個數,
我們通過幾個維度來進行數據的分析：
我們按照上面的處理繼續，現在我們想統計一下對於一個時間周期來說，不同國家在這個周期內的變化情況，
我們也可以按照國家分類，查看某個國家在不同時期的變化，
我們還可以根據屬性，查看不同國家在不同周期內的變化情況，
我們還可以給定國家和指標，查看這個國家在這個指標上的變化情況，
我們還有region(區域)沒有查看，我們來看一下：
通過上圖可以看出，區域太多，不便於觀察，我們可以將一些區域進行合並。減少區域數量有助於模型評估，可以創建一個字典來查找新的，更簡單的區域(亞洲，北美洲，南美洲，大洋洲)
我們來看一下數據變化，
緊接著上面的數據處理，我們重新導入一下包，這次有一些新包，
我們看一下水資源的情況，
通過上圖可以看出只有一小部分國家報告了可利用的水資源總量，這些國家中只有極少數國家擁有最近一段時間的數據，我們將刪除變數，因為這么少的數據點會導致很多問題。
接下來我們看一下全國降雨指數，
全國降雨在2002年以後不再報到，所以我們也刪除這個數據，
我們單獨拿出一個洲來進行分析，舉例南美洲，我們來看一下數據的完整性，
我們也可以指定不同的指標，
接下來，我們使用 pandas_profiling 來對單變數以及多變數之間的關系進行統計一下，
這里我們要計算的是，比如
我們按照 rural_pop 從小到大進行排序，發現的確有幾個國家的農村人口是負數，
人口數目是不可能小於0，所以這說明數據有問題，存在臟數據，如果做分析預測時，要注意將這些臟數據處理一下。
接下來我們看一下偏度，我們規定，
正態分布的偏度應為零，負偏度表示左偏，正偏表示右偏。
偏度計算完後，我們計算一下峰度， 峰度也是一個正態分布，峰度不能為負，只能是正數 ，越大說明越陡峭，
接下來我們看一下，如果數據分布非常不均勻該怎麼辦呢，
上圖是2013-2017年國家總人數的分布，通過上圖我們發現，人口量少於200000(不考慮單位)的國家非常多，人口大於1200000的國家非常少，如果我們需要建模的話，這種數據我們是不能要的。這個時候我們應該怎麼辦呢？
通常，遇到這種情況，使用 log變換 將其變為正常。 對數變換 是數據變換的一種常用方式，數據變換的目的在於使數據的呈現方式接近我們所希望的前提假設，從而更好的進行統計推斷。
接下來，我們用log轉換一下，並看一下它的偏度和峰值，
可以看出偏度下降了很多，減少了傾斜。
可以發現峰度也下降了，接下來我們看一下經過log轉換後的數據分布，
雖然數據還有一些偏度，但是明顯好了很多，呈現的分布也比較標准。
首先我們先來看一下美國的人口總數隨時間的變化，
接下來，我們查看北美洲每個國家人口總數隨著時間的變化，
這個時候我們發現，一些國家由於人口數量本身就少，所以整個圖像顯示的不明顯，我們可以改變一下參照指標，那我們通過什麼標准化？我們可以選擇一個國家的最小、平均、中位數、最大值...或任何其他位置。那我們選擇最小值，這樣我們就能看到每個國家的起始人口上的增長。
我們也可以用熱度圖來展示，用顏色的深淺來比較大小關系，
接下來我們分析一下水資源的分布情況，
我們可以進行一下log轉換，
我們用熱度圖畫一下，
連續值可以畫成散點圖，方便觀看，
我們來看一下隨著季節變化，人均GDP的變化情況，
相關程度：
相關度量兩個變數之間的線性關系的強度，我們可以用相關性來識別變數。
現在我們單獨拿出來一個指標分析是什麼因素與人均GDP的變化有關系，正相關就是積極影響，負相關就是消極影響。
當我們在畫圖的時候也可以考慮一下利用bined設置一下區間，比如說連續值我們可以分成幾個區間進行分析，這里我們以人均GDP的數量來進行分析，我們可以將人均GDP的數據映射到不同的區間，比如人均GDP比較低，比較落後的國家，以及人均GDP比較高，比較發達的國家，這個也是我們經常需要的操作，
做一下log變換，這里是25個bin
我們指定一下分割的標准，
我們還可以看一下人均GDP較低，落後國家的內部數據，下面我們看一下內部數據分布情況，用boxplot進行畫圖，
對於這部分的分布，我們還可以統計看一下其他指標，如下圖所示，我們還可以看一下洪水的統計信息，
F. Python怎麼檢驗數據分布
1. 每個維度都畫出來，看直方圖，肉眼判別。python中可以用matplotlib畫圖。
2. 連續的分布: Kolmogorov Smirnov (k-s) test 或者Cramér–von Mises (CvM) test
3. 離散的分布: Chi-Square test
4. 正態性可以用Lillifors test
5. 通常而言，你會發現這些數據不是從常見分布來的；什麼分布並不重要，常見分布只是簡化計算用的。
G. Python數據分析 | 數據描述性分析
首先導入一些必要的數據處理包和可視化的包，讀文檔數據並通過前幾行查看數據欄位。
對於我的數據來說，由於數據量比較大，因此對於缺失值可以直接做刪除處理。
得到最終的數據，並提取需要的列作為特徵。
對類別數據進行統計：
類別型欄位包括location、cpc_class、pa_country、pa_state、pa_city、assignee六個欄位，其中：
單變數統計描述是數據分析中最簡單的形式，其中被分析的數據只包含一個變數，不處理原因或關系。單變數分析的主要目的是通過對數據的統計描述了解當前數據的基本情況，並找出數據的分布模型。
單變數數據統計描述從集中趨勢上看，指標有：均值，中位數，分位數，眾數；從離散程度上看，指標有：極差、四分位數、方差、標准差、協方差、變異系數，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數值型變數）和頻數，構成比（分類或等級變數）。
對於數值型數據，首先希望了解一下數據取值范圍的分布，因此可以用統計圖直觀展示數據分布特徵，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。
按照發布的時間先後作為橫坐標，數值范圍的分布情況如圖所示.
還可以根據最終分類的結果查看這些數值數據在不同類別上的分布統計。
箱線圖可以更直觀的查看異常值的分布情況。
異常值指數據中的離群點，此處定義超出上下四分位數差值的1.5倍的范圍為異常值，查看異常值的位置。
參考：
python數據分析之數據分布 - yancheng111 - 博客園
python數據統計分析 -
科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數據是否服從某一分布，僅適用於連續分布的檢驗。下例中用它檢驗正態分布。
在使用k-s檢驗該數據是否服從正態分布，提出假設：x從正態分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態分布。這並不是說x服從正態分布一定是正確的，而是說沒有充分的證據證明x不服從正態分布。因此我們的假設被接受，認為x服從正態分布。如果p-value小於我們指定的顯著性水平，則我們可以肯定的拒絕提出的假設，認為x肯定不服從正態分布，這個拒絕是絕對正確的。
衡量兩個變數的相關性至少有以下三個方法：
皮爾森相關系數（Pearson correlation coefficient） 是反應倆變數之間線性相關程度的統計量，用它來分析正態分布的兩個連續型變數之間的相關性。常用於分析自變數之間，以及自變數和因變數之間的相關性。
返回結果的第一個值為相關系數表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變數的相關性越強，絕對值越接近0說明兩個變數的相關性越差。當兩個變數完全不相關時相關系數為0。第二個值為p-value，統計學上，一般當p-value<0.05時，可以認為兩變數存在相關性。
斯皮爾曼等級相關系數(Spearman』s correlation coefficient for ranked data ) ，它主要用於評價順序變數間的線性相關關系，在計算過程中，只考慮變數值的順序（rank, 秩或稱等級），而不考慮變數值的大小。常用於計算類型變數的相關性。
返回結果的第一個值為相關系數表示線性相關程度，本例中correlation趨近於1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。
kendall ：
也可以直接對整體數據進行相關性分析，一般來說，相關系數取值和相關強度的關系是：0.8-1.0 極強 0.6-0.8 強 0.4-0.6 中等 0.2-0.4 弱 0.0-0.2 極弱。