1. python數據分析 | 數據描述性分析
首先導入一些必要的數據處理包和可視化的包，讀文檔數據並通過前幾行查看數據欄位。
對於我的數據來說，由於數據量比較大，因此對於缺失值可以直接做刪除處理。
得到最終的數據，並提取需要的列作為特徵。
對類別數據進行統計：
類別型欄位包括location、cpc_class、pa_country、pa_state、pa_city、assignee六個欄位，其中：
單變數統計描述是數據分析中最簡單的形式，其中被分析的數據只包含一個變數，不處理原因或關系。單變數分析的主要目的是通過對數據的統計描述了解當前數據的基本情況，並找出數據的分布模型。
單變數數據統計描述從集中趨勢上看，指標有：均值，中位數，分位數，眾數；從離散程度上看，指標有：極差、四分位數、方差、標准差、協方差、變異系數，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數值型變數）和頻數，構成比（分類或等級變數）。
對於數值型數據，首先希望了解一下數據取值范圍的分布，因此可以用統計圖直觀展示數據分布特徵，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。
按照發布的時間先後作為橫坐標，數值范圍的分布情況如圖所示.
還可以根據最終分類的結果查看這些數值數據在不同類別上的分布統計。
箱線圖可以更直觀的查看異常值的分布情況。
異常值指數據中的離群點，此處定義超出上下四分位數差值的1.5倍的范圍為異常值，查看異常值的位置。
參考：
python數據分析之數據分布 - yancheng111 - 博客園
python數據統計分析 -
科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數據是否服從某一分布，僅適用於連續分布的檢驗。下例中用它檢驗正態分布。
在使用k-s檢驗該數據是否服從正態分布，提出假設：x從正態分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態分布。這並不是說x服從正態分布一定是正確的，而是說沒有充分的證據證明x不服從正態分布。因此我們的假設被接受，認為x服從正態分布。如果p-value小於我們指定的顯著性水平，則我們可以肯定的拒絕提出的假設，認為x肯定不服從正態分布，這個拒絕是絕對正確的。
衡量兩個變數的相關性至少有以下三個方法：
皮爾森相關系數（Pearson correlation coefficient） 是反應倆變數之間線性相關程度的統計量，用它來分析正態分布的兩個連續型變數之間的相關性。常用於分析自變數之間，以及自變數和因變數之間的相關性。
返回結果的第一個值為相關系數表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變數的相關性越強，絕對值越接近0說明兩個變數的相關性越差。當兩個變數完全不相關時相關系數為0。第二個值為p-value，統計學上，一般當p-value<0.05時，可以認為兩變數存在相關性。
斯皮爾曼等級相關系數(Spearman』s correlation coefficient for ranked data ) ，它主要用於評價順序變數間的線性相關關系，在計算過程中，只考慮變數值的順序（rank, 秩或稱等級），而不考慮變數值的大小。常用於計算類型變數的相關性。
返回結果的第一個值為相關系數表示線性相關程度，本例中correlation趨近於1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。
kendall ：
也可以直接對整體數據進行相關性分析，一般來說，相關系數取值和相關強度的關系是：0.8-1.0 極強 0.6-0.8 強 0.4-0.6 中等 0.2-0.4 弱 0.0-0.2 極弱。
2. 114 11 個案例掌握 Python 數據可視化--美國氣候研究
自哥本哈根氣候會議之後，全球日益關注氣候變化和溫室效應等問題，並於會後建立了全球碳交易市場，分階段分批次減碳。本實驗獲取了美國 1979 - 2011 年間 NASA 等機構對美國各地日均最高氣溫、降雨量等數據，研究及可視化了氣候相關指標的變化規律及相互關系。
輸入並執行魔法命令 %matplotlib inline， 並去除圖例邊框。
數據集介紹：
本數據集特徵包括美國 49 個州（State），各州所在的地區（Region），統計年（Year），統計月（Month），平均光照（Avg Daily Sunlight），日均最大空氣溫度（Avg Daily Max Air Temperature ），日均最大熱指數（Avg Daily Max Heat Index ），日均降雨量（Avg Daily Precipitation ），日均地表溫度（Avg Day Land Surface Temperature）。
各特徵的年度區間為：
導入數據並查看前 5 行。
篩選美國各大區域的主要氣候指數，通過 sns.distplot 介面繪制指數的分布圖。
從運行結果可知：
光照能量密度（Sunlight），美國全境各地區分布趨勢大致相同，均存在較為明顯的兩個峰（強光照和弱光照）。這是因為非赤道國家受地球公轉影響，四季光照強度會呈現出一定的周期變化規律；
從地理區位能看出，東北部光照低谷明顯低於其他三個區域；
日均最高空氣溫度（Max Air Temperature），美國全境各地區表現出較大差異，東北部和中西部趨勢大致相同，氣溫平緩期較長，且包含一個顯著的尖峰；西部地區平緩期最長，全年最高溫均相對穩定；南部分布則相對更為集中；
日均地表溫度（Land Surface Temperature），與最高空氣溫度類似，不同之處在於其低溫區分布更少；
最大熱指數（Max Heat Index），西部與中西部分布較為一致，偏溫和性溫度，東北部熱指數偏高，南部偏低；
降雨量（Precipitation），西部明顯偏小，南部與東北部大致相同，中西部相對較多。
結合地理知識做一個總結:
東北部及大多數中西部地區，屬於溫帶大陸性氣候，四季分明，夏季悶熱，降雨較多。
西部屬於溫帶地中海氣候，全年氣候溫和，並且乾燥少雨，夏季氣候溫和，最高溫度相對穩定。
南部沿海一帶，終年氣候溫暖，夏季炎熱，雨水充沛。
按月計算美國各地區降雨量均值及標准偏差，以均值 ± 一倍標准偏差繪制各地區降雨量誤差線圖。
從運行結果可知：
在大多數夏季月份，西部地區降雨量遠小於其他地區；
西部地區冬季月降雨量高於夏季月；
中西部地區是較為典型的溫帶大陸性氣候，秋冬降雨逐漸減少，春夏降雨逐漸升高；
南部地區偏向海洋性氣候，全年降雨量相對平均。
需要安裝joypy包。
日均最高氣溫變化趨勢
通過 joypy 包的 joyplot 介面，可以繪制帶堆積效應的直方分布曲線，將 1980 年 - 2008 年的日均最高溫度按每隔 4 年的方式繪制其分布圖，並標注 25%、75% 分位數。
從運行結果可知：
1980 - 2008 年區間，美國全境日均最高溫度分布的低溫區正逐漸升高，同時高溫區正逐漸降低，分布更趨向於集中；
1980 - 2008 年區間，美國全境日均最高溫度的 25% 分位數和 75% 分位數有少量偏離但並不明顯。
日均降雨量變化趨勢
同樣的方式對降雨量數據進行處理並查看輸出結果。
篩選出加州和紐約州的日均降雨量數據，通過 plt.hist 介面繪制降雨量各月的分布圖。
從運行結果可知：
加州地區降雨量多集中在 0 - 1 mm 區間，很少出現大雨，相比而言，紐約州則顯得雨量充沛，日均降雨量分布在 2 - 4 mm 區間。
直方圖在堆積效應下會被覆蓋大多數細節，同時表達聚合、離散效應的箱線圖在此類問題上或許是更好的選擇。
通過 sns.boxplot 介面繪制加州和紐約州全年各月降雨量分布箱線圖.
從箱線圖上，我們可以清晰地對比每個月兩個州的降雨量分布，既可以看到集中程度，例如七月的加州降雨量集中在 0.1 - 0.5 mm 的窄區間，說明此時很少會有大雨；又可以看到離散情況，例如一月的加州，箱線圖箱子（box）部分分布較寬，且上方 10 mm 左右存在一個離散點，說明此時的加州可能偶爾地會出現大到暴雨。
視覺上更為美觀且簡約的是擺動的誤差線圖，實驗 「美國全境降雨量月度分布」 將所有類別標簽的 x 位置均放於同一處，導致誤差線高度重合。可通過調節 x 坐標位置將需要對比的序列緊湊排布。
從輸出結果可以看出，加州冬季的降雨量不確定更強，每年的的十一月至次年的三月，存在降雨量大，且降雨量存在忽多忽少的現象（誤差線長）。
上面的實驗均在研究單變數的分布，但經常性地，我們希望知道任意兩個變數的聯合分布有怎樣的特徵。
核密度估計 ， 是研究此類問題的主要方式之一， sns.kdeplot 介面通過高斯核函數計算兩變數的核密度函數並以等高線的形式繪制核密度。
從運行結果可知：
加州在高溫區和低降雨期存在一個較為明顯的高密度分布區（高溫少雨的夏季）；
紐約州在高溫及低溫區均存在一個高密度的分布區，且在不同溫區降雨量分布都較為均勻。
將美國全境的降雨量與空氣溫度通過 plt.hist2d 介面可視化。
從運行結果可知：
美國全境最高密度的日均高溫溫度區域和降雨量區間分別為，78 F （約等於 25 C）和 2.2 mm 左右，屬於相對舒適的生活氣候區間。
美國全境降雨量與空氣溫度的關系-核密度估計
在上面實驗基礎上，在 x， y 軸上分別通過 sns.rugplot 介面繪制核密度估計的一維分布圖，可在一張繪圖平面上同時獲取聯合分布和單變數分布的特徵。
美國全境降雨量與空氣溫度的關系-散點分布和直方分布
sns.jointplot 介面通過柵格的形式，將單變數分布用子圖的形式進行分別繪制，同時通過散點圖進行雙變數關系的展示，也是一種較好的展現數據分布的方式。
上面兩個實驗研究了雙變數分布的可視化，以下研究 3 變數聚合結果的可視化。
通過 sns.heatmap 介面可實現對透視數據的可視化，其原理是對透視結果的值賦予不同的顏色塊，以可視化其值的大小，並通過顏色條工具量化其值大小。
上面的兩個實驗可視化了各州隨年份日均最高溫度的中位數變化趨勢，從圖中並未看出有較為顯著地變化。
以下通過 t 檢驗的方式查看統計量是否有顯著性差異。stats.ttest_ind 介面可以輸出 1980 年 與 2010 年主要氣候指數的顯著性檢驗統計量及 p 值。
從運行結果可以看出：
檢驗結果拒絕了降雨量相等的原假設，即 1980 年 與 2010 年兩年間，美國降雨量是不同的，同時沒有拒絕日均日照、日均最大氣溫兩個變數相等的原假設，說明氣溫未發生顯著性變化。