構造全量數據python

A. python語法

python語法如下：

1、Python標識符

在Python里，標識符有字母、數字、下劃線組成。

在Python中，所有標識符可以包括英文、數字以及下劃線（_），但不能以數字開頭。

Python中的標識符是區分大小寫的。

以下劃線開頭的標識符是有特殊意義的。以單下劃線開頭_foo的代表不能直接訪問的類屬性，需通過類提供的介面進行訪問，不能用from xxx import而導入。

以雙下劃線開頭的foo代表類的私有成員；以雙下劃線開頭和結尾的foo代表Python里特殊方法專用的標識，如init__（）代表類的構造函數。

2、Python有五個標準的數據類型

Numbers（數字）String（字元串）List（列表）Tuple（元組）Dictionary（字典）。

Python支持四種不同的數字類型：int（有符號整型）long（長整型[也可以代表八進制和十六進制]）float（浮點型）complex（復數）。

python的字串列表有2種取值順序：從左到右索引默認0開始的，最大范圍是字元串長度少1；從右到左索引默認-1開始的，最大范圍是字元串開頭；List（列表）是Python中使用最頻繁的數據類型。

列表可以完成大多數集合類的數據結構實現。它支持字元，數字，字元串甚至可以包含列表（即嵌套）。列表用[]標識，是python最通用的復合數據類型。

列表中值的切割也可以用到變數[頭下標：尾下標]，就可以截取相應的列表，從左到右索引默認0開始，從右到左索引默認-1開始，下標可以為空表示取到頭或尾。加號+是列表連接運算符，星號*是重復操作。元組是另一個數據類型，類似於List（列表）。

元組用「（）」標識。內部元素用逗號隔開。但是元組不能二次賦值，相當於只讀列表。
字典（dictionary）是除列表以外python之中最靈活的內置數據結構類型。

列表是有序的對象結合，字典是無序的對象集合。兩者之間的區別在於：字典當中的元素是通過鍵來存取的，而不是通過偏移存取。字典用「{}」標識。字典由索引（key）和它對應的值value組成。

B. 如何用python寫出爬蟲

先檢查是否有API

API是網站官方提供的數據介面，如果通過調用API採集數據，則相當於在網站允許的范圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API介面的訪問則處於網站的控制中，網站可以用來收費，可以用來限制訪問上限等。整體來看，如果數據採集的需求並不是很獨特，那麼有API則應優先採用調用API的方式。

數據結構分析和數據存儲

爬蟲需求要十分清晰，具體表現為需要哪些欄位，這些欄位可以是網頁上現有的，也可以是根據網頁上現有的欄位進一步計算的，這些欄位如何構建表，多張表如何連接等。值得一提的是，確定欄位環節，不要只看少量的網頁，因為單個網頁可以缺少別的同類網頁的欄位，這既有可能是由於網站的問題，也可能是用戶行為的差異，只有多觀察一些網頁才能綜合抽象出具有普適性的關鍵欄位——這並不是幾分鍾看幾個網頁就可以決定的簡單事情，如果遇上了那種臃腫、混亂的網站，可能坑非常多。

對於大規模爬蟲，除了本身要採集的數據外，其他重要的中間數據（比如頁面Id或者url）也建議存儲下來，這樣可以不必每次重新爬取id。

資料庫並沒有固定的選擇，本質仍是將Python里的數據寫到庫里，可以選擇關系型資料庫MySQL等，也可以選擇非關系型資料庫MongoDB等；對於普通的結構化數據一般存在關系型資料庫即可。sqlalchemy是一個成熟好用的資料庫連接框架，其引擎可與Pandas配套使用，把數據處理和數據存儲連接起來，一氣呵成。

數據流分析

對於要批量爬取的網頁，往上一層，看它的入口在哪裡；這個是根據採集范圍來確定入口，比如若只想爬一個地區的數據，那從該地區的主頁切入即可；但若想爬全國數據，則應更往上一層，從全國的入口切入。一般的網站網頁都以樹狀結構為主，找到切入點作為根節點一層層往裡進入即可。

值得注意的一點是，一般網站都不會直接把全量的數據做成列表給你一頁頁往下翻直到遍歷完數據，比如鏈家上面很清楚地寫著有24587套二手房，但是它只給100頁，每頁30個，如果直接這么切入只能訪問3000個，遠遠低於真實數據量；因此先切片，再整合的數據思維可以獲得更大的數據量。顯然100頁是系統設定，只要超過300個就只顯示100頁，因此可以通過其他的篩選條件不斷細分，只到篩選結果小於等於300頁就表示該條件下沒有缺漏；最後把各種條件下的篩選結果集合在一起，就能夠盡可能地還原真實數據量。

明確了大規模爬蟲的數據流動機制，下一步就是針對單個網頁進行解析，然後把這個模式復制到整體。對於單個網頁，採用抓包工具可以查看它的請求方式，是get還是post，有沒有提交表單，欲採集的數據是寫入源代碼里還是通過AJAX調用JSON數據。

同樣的道理，不能只看一個頁面，要觀察多個頁面，因為批量爬蟲要弄清這些大量頁面url以及參數的規律，以便可以自動構造；有的網站的url以及關鍵參數是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構造，這種情況下要批量爬蟲，要麼找到它加密的js代碼，在爬蟲代碼上加入從明文到密碼的加密過程；要麼採用下文所述的模擬瀏覽器的方式。

數據採集

之前用R做爬蟲，不要笑，R的確可以做爬蟲工作；但在爬蟲方面，Python顯然優勢更明顯，受眾更廣，這得益於其成熟的爬蟲框架，以及其他的在計算機系統上更好的性能。scrapy是一個成熟的爬蟲框架，直接往裡套用就好，比較適合新手學習；requests是一個比原生的urllib包更簡潔強大的包，適合作定製化的爬蟲功能。requests主要提供一個基本訪問功能，把網頁的源代碼給download下來。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數，就可以正常訪問，status_code為200，並成功得到網頁源代碼；但是也有某些反爬蟲較為嚴格的網站，這么直接訪問會被禁止；或者說status為200也不會返回正常的網頁源碼，而是要求寫驗證碼的js腳本等。

下載到了源碼之後，如果數據就在源碼中，這種情況是最簡單的，這就表示已經成功獲取到了數據，剩下的無非就是數據提取、清洗、入庫。但若網頁上有，然而源代碼里沒有的，就表示數據寫在其他地方，一般而言是通過AJAX非同步載入JSON數據，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。

解析工具

源碼下載後，就是解析數據了，常用的有兩種方法，一種是用BeautifulSoup對樹狀HTML進行解析，另一種是通過正則表達式從文本中抽取數據。

BeautifulSoup比較簡單，支持Xpath和CSSSelector兩種途徑，而且像Chrome這類瀏覽器一般都已經把各個結點的Xpath或者CSSSelector標記好了，直接復制即可。以CSSSelector為例，可以選擇tag、id、class等多種方式進行定位選擇，如果有id建議選id，因為根據HTML語法，一個id只能綁定一個標簽。

正則表達式很強大，但構造起來有點復雜，需要專門去學習。因為下載下來的源碼格式就是字元串，所以正則表達式可以大顯身手，而且處理速度很快。

對於HTML結構固定，即同樣的欄位處tag、id和class名稱都相同，採用BeautifulSoup解析是一種簡單高效的方案，但有的網站混亂，同樣的數據在不同頁面間HTML結構不同，這種情況下BeautifulSoup就不太好使；如果數據本身格式固定，則用正則表達式更方便。比如以下的例子，這兩個都是深圳地區某個地方的經度，但一個頁面的class是long，一個頁面的class是longitude，根據class來選擇就沒辦法同時滿足2個，但只要注意到深圳地區的經度都是介於113到114之間的浮點數，就可以通過正則表達式"11[3-4].\d+"來使兩個都滿足。

數據整理

一般而言，爬下來的原始數據都不是清潔的，所以在入庫前要先整理；由於大部分都是字元串，所以主要也就是字元串的處理方式了。

字元串自帶的方法可以滿足大部分簡單的處理需求，比如strip可以去掉首尾不需要的字元或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然後截取一部分。

如果字元串處理的需求太復雜以致常規的字元串處理方法不好解決，那就要請出正則表達式這個大殺器。

Pandas是Python中常用的數據處理模塊，雖然作為一個從R轉過來的人一直覺得這個模仿R的包實在是太難用了。Pandas不僅可以進行向量化處理、篩選、分組、計算，還能夠整合成DataFrame，將採集的數據整合成一張表，呈現最終的存儲效果。

寫入資料庫

如果只是中小規模的爬蟲，可以把最後的爬蟲結果匯合成一張表，最後導出成一張表格以便後續使用；但對於表數量多、單張表容量大的大規模爬蟲，再導出成一堆零散的表就不合適了，肯定還是要放在資料庫中，既方便存儲，也方便進一步整理。

寫入資料庫有兩種方法，一種是通過Pandas的DataFrame自帶的to_sql方法，好處是自動建表，對於對表結構沒有嚴格要求的情況下可以採用這種方式，不過值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報錯，雖然這個認為不太合理；另一種是利用資料庫引擎來執行SQL語句，這種情況下要先自己建表，雖然多了一步，但是表結構完全是自己控制之下。Pandas與SQL都可以用來建表、整理數據，結合起來使用效率更高。

C. 教你如何用python6個步驟搞定金融數據挖掘預處理

數據預處理沒有標準的流程，通常針對不同的任務和數據集屬性的不同而不同。下面就一起看下常用六大步完成數據預處理。

Step 1：導入相關模塊

Step 2：獲取數據

特徵構造

Step 3：處理缺失值

Step 4：分類數據編碼

創建虛擬變數

Step 5：劃分訓練集和測試集

Step 6：特徵標准化

數據變換十大秘訣

數據變換[1]是將數據集的每個元素乘以常數；也就是說，將每個數變換為，其中,和都是實數。數據變換將可能改變數據的分布以及數據點的位置。

數據標准化[2]（有時稱為 z-score 或 standar score）是已重新縮放為平均值為零且標准偏差為1的變數。對於標准化變數，每種情況下的值在標准化變數上的值都表明它與原始變數的均值（或原始變數的標准偏差）的差值。

歸一化數據 是將數據縮放到0到1范圍內。

Binarizing Data

二值化[3]是將任何實體的數據特徵轉換為二值化的向量以使分類器演算法更高效的過程。在一個簡單的示例中，將圖像的灰度從0-255光譜轉換為0-

1 光譜就是二值化。

Mean Removal

去均值法 是將均值從每一列或特徵中移除，使其以零為中心的過程。

One Hot Encoding

獨熱編碼[4]是將分類變數轉換為可以提供給ML演算法以更好地進行預測的形式的過程。

Label Encoding

標簽編碼 適用於具有分類變數並將數據轉換為數字的數據。

fit

transform

詞向量 用於帶有標簽和數字的數據。此外，詞向量可用於提取數據。

獲取特徵名稱

Polynomial Features

多項式特徵 用於生成多項式特徵和交互特徵。它還生成了一個新的特徵矩陣數據，該數據是由所有次數小於或等於指定次數的特徵的多項式組合組成的。

截距項

填補 (如用均值填補缺失值)，它用列或特性數據中的平均值替換缺失的值

D. Python數據可視化利器Matplotlib從入門到高級4

2D曲線繪制是Matplotlib繪圖的最基本功能，也是用得最多、最重要的繪圖功能之一，本文開始詳細介紹Matplotlib 2D曲線繪圖功能。我的介紹主要以面向對象的編碼風格為主，但會在文章的末尾附上相應的pyplot風格的源代碼，供大家查閱、對比。我們先看一段代碼：

代碼運行效果如下：

這個繪圖中我們沒有作任何設置，一切交給Matplotlib處理。我們只是看到了繪制出的曲線的樣子。但這與我們所想要的效果可能差異較大。所以我們還需要對圖形進行一些自定義。

不管我們想生成什麼樣的圖形，在Matplotlib當中，大致都可以總結為三步：一是構造繪圖用的數據（Matplotlib推薦numpy數據，本系列介紹Matplotlib繪圖，暫不涉及numpy的相關內容，留待後續有空餘時吧）；二是根據數據的特點選擇適當的繪圖方法並繪制出數據的圖形；第三步則是對繪制的圖形進行自定義設置或者美化以達到滿足我們獲得精美的輸出圖形的要求。

在上面的繪圖中，我們僅僅做到了第二步，下面我們來進行一些自定義，而Matplotlib為此提供了非常豐富的功能。

你可能最想先嘗試一下換個顏色看看曲線是什麼樣的，這有很多種方法。首先，我們可以在繪制圖形的時候直接指定它，我們把繪圖的代碼改成下面的樣子：

這里的 『r』 是 「red」的簡寫，表示將曲線的顏色指定為紅色。也可以寫成下面的樣子，這樣可讀性更高：

plot 返回一個 Line2D 對象的列表，我們使用一個帶有「 line1, 」的元組來解包，隨後使用 set_color() 代碼設置line1 曲線的顏色，請注意這里設置的顏色會覆蓋 plot 繪圖函數當中指定的顏色。上面三段代碼各自獨立運行之後的效果是一樣的。如下：

為了提高效率，Matplotlib模仿MATLAB支持常用顏色的單字母代碼縮寫。

你還可以使用不區分大小寫的十六進制 RGB 或 RGBA 字元串（如：'#0f0f0f'），或者不區分大小寫的 X11/CSS4 顏色名稱（如：'aquamarine'），以及來自 xkcd color survey 的不區分大小寫的顏色名稱（如：'xkcd:sky blue'）等等。更為詳細的顏色規范，你可以查閱官方文檔。但對於Python辦公而言，掌握這些應該已經足夠了。

與曲線顏色一樣，線型和線寬也有多種方式來指定：

這里我們最終指定的線寬為2.0磅，繪圖函數當中指定的線寬被後續指定的屬性值覆蓋了。而線型在這里由set_linestyle()指定，其中「--」和「-.」都是Matplotlib中支持的線型，「--」表示虛線，而「-.」則是點劃線。而Matplotlib默認的線型「-」實線，除此之外，Matplotlib還支持「:」點線。

我們繪制曲線之前構造的數據點在曲線上也可以標記出來，這些標記點有不同的風格。同樣可以以不同的方式來設置它：

注意第一行代碼當中的「r:o」字元串，它是一種簡寫形式，是將顏色、線型和標記點形狀在一個字元串中同時設置的方式，其中的「r」表示紅色，「:」表示點線，「o」表示標記點為大圓點。只有在顏色使用單字元代碼時才可以像上面這樣組合起來同時表示三個屬性。默認情況下，標記點的顏色與線型顏色相同，但可以單獨設置與曲線不同的顏色，不僅如此，標記點的邊線顏色和中間填充顏色也都可以單獨設置。上面第二行代碼我們就使用set_markeredgecolor('b')將標記點邊線顏色設置為了藍色。與標記點設置相關的還有set_marker（設置標記點形狀）、set_markeredgewidth（設置標記點邊線寬度）、set_markerfacecolor（設置標記點中間的填充色）、set_markersize （設置標記點的大小）等。下面是我整理的Matplotlib支持的所有標記點形狀。

本文先介紹到此，後續進一步介紹坐標軸、圖例和網格線的設置。最後附上本文pyplot風格的繪圖代碼：

顯然這種簡單繪圖pyplot風格要簡潔一些，還是很有優勢的。

E. Python處理大數據的技巧, 2022-06-21

(2022.06.21 Tues)
收集整理了Python處理大量數據的方法，基於Pandas，Numpy等數據處理工具。

用df的 info 方法並指定 memory_usage='deep' 參數，或使用df的 memory_usage 方法，並指定 deep=True 參數。

在讀取數據文件的方法中加入 nrows 參數選擇前n行數據讀取。

也可以跳過m行之後，讀取從m行開始的n行

當然也可以在 skiprows 選項中指定范圍，保留headers，即保留列名

可以指定 skiprows 中需要忽略的行，用list或array導入即可。下面是隨機

如果在這個指令中忽略 nrows=10 指令，則讀取跳過100行之後的所有數據。

預先指定讀入的列，縮小載入范圍

不同的數據類型佔用了不同大小的空間，對於尚未讀取的數據，可以提前指定類型( dtype )；對於已經讀入的數據，通過 astype 方法修改成占空間更小的數據類型。

在讀入數據之前，通過字典指定每列對應的數據類型，讀入之後按照此類型顯示數據。

通過改變數據類型減少空間的案例。修改DataFrame d 中的一列 Sctcd ，注意到該列的數據都是1、2、0，而保存類型是object，果斷改成 uint8 ，通過 df.info(memory_usage='deep') 方法對比內存的使用情況。僅僅修改了一個列的類型，數據大小減小3MB。

一個特殊而高效的案例是當某一列的值只有有限個，不管是int還是string格式，且該列unque值遠小於列的長度，可以將該列轉變為 category 類，將節省大量空間。這么做當然也有代價，比如轉換成 category 類的數據將無法做max/min等運算，由數字轉換成的 category 也不能進行數值運算。這種轉換對內存的節省效果顯著，下面是對比。 dcol 只有兩列， Stkcd 和 Stknme ，查看unique的個數與總長度，顯示unique遠小於總長度，分別轉換為 category 類型，內存節省超過90%！

通過Pandas的 read_csv 方法中的 chunksize 選項指定讀取的塊大小，並迭代地對讀取的塊做運算。

1 https冒號//www點dataquest點io/blog/pandas-big-data/
2 CSDN - python 處理大量數據_如何用python處理大量數據
2 How to Work with BIG Datasets on 16G RAM (+Dask), on kaggle

F. python數據可視化--可視化概述

數據可視化是python最常見的應用領域之一，數據可視化是藉助圖形化的手段將一組數據以圖形的形式表達出來，並利用數據分析和開發工具發現其中未知信息的數據處理過程。

在學術界有一句話廣為流傳，A picture worths thousand words，就是一圖值千言。在課堂上，我經常舉的例子就是大家在刷朋友圈的時候如果看到有人轉發一篇題目很吸引人的文章時，我們都會點擊進去，可能前幾段話會很認真地看，文章很長的時候後面就會一目十行，失去閱讀的興趣。

所以將數據、表格和文字等內容用圖表的形式表達出來，既能提高讀者閱讀的興趣，還能直觀表達想要表達的內容。

python可視化庫有很多，下面列舉幾個最常用的介紹一下。

matplotlib

它是python眾多數據可視化庫的鼻祖，也是最基礎的底層數據可視化第三方庫，語言風格簡單、易懂，特別適合初學者入門學習。

seaborn

Seaborn是在matplotlib的基礎上進行了更高級的API封裝，從而使得作圖更加容易，在大多數情況下使用seaborn能做出很具有吸引力的圖，而使用matplotlib就能製作具有更多特色的圖。應該把Seaborn視為matplotlib的補充，而不是替代物。

pyecharts

pyecharts是一款將python與echarts結合的強大的數據可視化工具，生成的圖表精巧，交互性良好，可輕松集成至 Flask，Sanic，Django 等主流 Web 框架，得到眾多開發者的認可。

bokeh

bokeh是一個面向web瀏覽器的互動式可視化庫，它提供了多功能圖形的優雅、簡潔的構造，並在大型數據集或流式數據集上提供高性能的交互性。

python這些可視化庫可以便捷、高效地生成豐富多彩的圖表，下面列舉一些常見的圖表。

柱形圖

條形圖

坡度圖

南丁格爾玫瑰圖

雷達圖

詞雲圖

散點圖

等高線圖

瀑布圖

相關系數圖

散點曲線圖

直方圖

箱形圖

核密度估計圖

折線圖

面積圖

日歷圖

餅圖

圓環圖

馬賽克圖

華夫餅圖

還有地理空間型等其它圖表，就不一一列舉了，下節開始我們先學習matplotlib這個最常用的可視化庫。

G. python大數據挖掘系列之基礎知識入門 知識整理（入門教程含源碼）

Python在大數據行業非常火爆近兩年，as a pythonic，所以也得涉足下大數據分析，下面就聊聊它們。

Python數據分析與挖掘技術概述

所謂數據分析，即對已知的數據進行分析，然後提取出一些有價值的信息，比如統計平均數，標准差等信息，數據分析的數據量可能不會太大，而數據挖掘，是指對大量的數據進行分析與挖倔，得到一些未知的，有價值的信息等，比如從網站的用戶和用戶行為中挖掘出用戶的潛在需求信息，從而對網站進行改善等。
數據分析與數據挖掘密不可分，數據挖掘是對數據分析的提升。數據挖掘技術可以幫助我們更好的發現事物之間的規律。所以我們可以利用數據挖掘技術可以幫助我們更好的發現事物之間的規律。比如發掘用戶潛在需求，實現信息的個性化推送，發現疾病與病狀甚至病與葯物之間的規律等。

預先善其事必先利其器

我們首先聊聊數據分析的模塊有哪些：

下面就說說這些模塊的基礎使用。

numpy模塊安裝與使用

安裝：
下載地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/
我這里下載的包是1.11.3版本，地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl
下載好後，使用pip install "numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl"
安裝的numpy版本一定要是帶mkl版本的，這樣能夠更好支持numpy

numpy簡單使用

生成隨機數

主要使用numpy下的random方法。

pandas

使用 pip install pandas 即可

直接上代碼：
下面看看pandas輸出的結果， 這一行的數字第幾列，第一列的數字是行數，定位一個通過第一行，第幾列來定位：

常用方法如下：

下面看看pandas對數據的統計，下面就說說每一行的信息

轉置功能：把行數轉換為列數，把列數轉換為行數，如下所示：

通過pandas導入數據

pandas支持多種輸入格式，我這里就簡單羅列日常生活最常用的幾種，對於更多的輸入方式可以查看源碼後者官網。

CSV文件

csv文件導入後顯示輸出的話，是按照csv文件默認的行輸出的，有多少列就輸出多少列，比如我有五列數據，那麼它就在prinit輸出結果的時候，就顯示五列

excel表格

依賴於xlrd模塊，請安裝它。
老樣子，原滋原味的輸出顯示excel本來的結果，只不過在每一行的開頭加上了一個行數

讀取SQL

依賴於PyMySQL，所以需要安裝它。pandas把sql作為輸入的時候，需要制定兩個參數，第一個是sql語句，第二個是sql連接實例。

讀取HTML

依賴於lxml模塊，請安裝它。
對於HTTPS的網頁，依賴於BeautifulSoup4，html5lib模塊。
讀取HTML只會讀取HTML里的表格，也就是只讀取

顯示的是時候是通過python的列表展示，同時添加了行與列的標識

讀取txt文件

輸出顯示的時候同時添加了行與列的標識

scipy

安裝方法是先下載whl格式文件，然後通過pip install 「包名」 安裝。whl包下載地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/scipy-0.18.1-cp35-cp35m-win_amd64.whl

matplotlib 數據可視化分析

我們安裝這個模塊直接使用pip install即可。不需要提前下載whl後通過 pip install安裝。

下面請看代碼：

下面說說修改圖的樣式

關於圖形類型，有下面幾種：

關於顏色，有下面幾種：

關於形狀，有下面幾種：

我們還可以對圖稍作修改，添加一些樣式，下面修改圓點圖為紅色的點，代碼如下：

我們還可以畫虛線圖，代碼如下所示：

還可以給圖添加上標題，x，y軸的標簽,代碼如下所示

直方圖

利用直方圖能夠很好的顯示每一段的數據。下面使用隨機數做一個直方圖。

Y軸為出現的次數，X軸為這個數的值（或者是范圍）

還可以指定直方圖類型通過histtype參數：

圖形區別語言無法描述很詳細，大家可以自信嘗試。

舉個例子：

子圖功能

什麼是子圖功能呢？子圖就是在一個大的畫板裡面能夠顯示多張小圖，每個一小圖為大畫板的子圖。
我們知道生成一個圖是使用plot功能，子圖就是subplog。代碼操作如下：

我們現在可以通過一堆數據來繪圖，根據圖能夠很容易的發現異常。下面我們就通過一個csv文件來實踐下，這個csv文件是某個網站的文章閱讀數與評論數。

先說說這個csv的文件結構，第一列是序號，第二列是每篇文章的URL，第三列每篇文章的閱讀數，第四列是每篇評論數。

我們的需求就是把評論數作為Y軸，閱讀數作為X軸，所以我們需要獲取第三列和第四列的數據。我們知道獲取數據的方法是通過pandas的values方法來獲取某一行的值，在對這一行的值做切片處理，獲取下標為3（閱讀數）和4（評論數）的值，但是，這里只是一行的值，我們需要是這個csv文件下的所有評論數和閱讀數，那怎麼辦？聰明的你會說，我自定義2個列表，我遍歷下這個csv文件，把閱讀數和評論數分別添加到對應的列表裡，這不就行了嘛。呵呵，其實有一個更快捷的方法，那麼就是使用T轉置方法，這樣再通過values方法，就能直接獲取這一評論數和閱讀數了，此時在交給你matplotlib里的pylab方法來作圖，那麼就OK了。了解思路後，那麼就寫吧。

下面看看代碼：

H. python怎麼做大數據分析

數據獲取：公開數據、Python爬蟲外部數據的獲取方式主要有以下兩種。（推薦學習：Python視頻教程）
第一種是獲取外部的公開數據集，一些科研機構、企業、政府會開放一些數據，你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。
另一種獲取外部數據的方式就是爬蟲。
比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息，爬取租房網站上某城市的租房信息，爬取豆瓣評分評分最高的電影列表，獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據，你可以對某個行業、某種人群進行分析。
在爬蟲之前你需要先了解一些 Python 的基礎知識：元素（列表、字典、元組等）、變數、循環、函數………
以及，如何用 Python 庫（urlpb、BeautifulSoup、requests、scrapy）實現網頁爬蟲。
掌握基礎的爬蟲之後，你還需要一些高級技巧，比如正則表達式、使用cookie信息、模擬用戶登錄、抓包分析、搭建代理池等等，來應對不同網站的反爬蟲限制。
數據存取：SQL語言
在應對萬以內的數據的時候，Excel對於一般的分析沒有問題，一旦數據量大，就會力不從心，資料庫就能夠很好地解決這個問題。而且大多數的企業，都會以SQL的形式來存儲數據。
SQL作為最經典的資料庫工具，為海量數據的存儲與管理提供可能，並且使數據的提取的效率大大提升。你需要掌握以下技能：
提取特定情況下的數據
資料庫的增、刪、查、改
數據的分組聚合、如何建立多個表之間的聯系
數據預處理：Python（pandas）
很多時候我們拿到的數據是不幹凈的，數據的重復、缺失、異常值等等，這時候就需要進行數據的清洗，把這些影響分析的數據處理好，才能獲得更加精確地分析結果。
對於數據預處理，學會 pandas （Python包）的用法，應對一般的數據清洗就完全沒問題了。需要掌握的知識點如下：
選擇：數據訪問
缺失值處理：對缺失數據行進行刪除或填充
重復值處理：重復值的判斷與刪除
異常值處理：清除不必要的空格和極端、異常數據
相關操作：描述性統計、Apply、直方圖等
合並：符合各種邏輯關系的合並操作
分組：數據劃分、分別執行函數、數據重組
Reshaping：快速生成數據透視表
概率論及統計學知識
需要掌握的知識點如下：
基本統計量：均值、中位數、眾數、百分位數、極值等
其他描述性統計量：偏度、方差、標准差、顯著性等
其他統計知識：總體和樣本、參數和統計量、ErrorBar
概率分布與假設檢驗：各種分布、假設檢驗流程
其他概率論知識：條件概率、貝葉斯等
有了統計學的基本知識，你就可以用這些統計量做基本的分析了。你可以使用 Seaborn、matplotpb 等（python包）做一些可視化的分析，通過各種可視化統計圖，並得出具有指導意義的結果。
Python 數據分析
掌握回歸分析的方法，通過線性回歸和邏輯回歸，其實你就可以對大多數的數據進行回歸分析，並得出相對精確地結論。這部分需要掌握的知識點如下：
回歸分析：線性回歸、邏輯回歸
基本的分類演算法：決策樹、隨機森林……
基本的聚類演算法：k-means……
特徵工程基礎：如何用特徵選擇優化模型
調參方法：如何調節參數優化模型
Python 數據分析包：scipy、numpy、scikit-learn等
在數據分析的這個階段，重點了解回歸分析的方法，大多數的問題可以得以解決，利用描述性的統計分析和回歸分析，你完全可以得到一個不錯的分析結論。
當然，隨著你實踐量的增多，可能會遇到一些復雜的問題，你就可能需要去了解一些更高級的演算法：分類、聚類。
然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型，對於模型的優化，你需要去了解如何通過特徵提取、參數調節來提升預測的精度。
你可以通過 Python 中的 scikit-learn 庫來實現數據分析、數據挖掘建模和分析的全過程。
更多Python相關技術文章，請訪問Python教程欄目進行學習！以上就是小編分享的關於python怎麼做大數據分析的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！