流暢的python豆瓣

① 如何用python爬取豆瓣讀書的數據

這兩天爬了豆瓣讀書的十萬條左右的書目信息，用時將近一天，現在趁著這個空閑把代碼總結一下，還是菜鳥，都是用的最簡單最笨的方法，還請路過的大神不吝賜教。
第一步，先看一下我們需要的庫：

import requests #用來請求網頁
from bs4 import BeautifulSoup #解析網頁
import time #設置延時時間，防止爬取過於頻繁被封IP號
import re #正則表達式庫
import pymysql #由於爬取的數據太多，我們要把他存入MySQL資料庫中，這個庫用於連接資料庫
import random #這個庫里用到了產生隨機數的randint函數，和上面的time搭配，使爬取間隔時間隨機

這個是豆瓣的網址：x-sorttags-all
我們要從這里獲取所有分類的標簽鏈接，進一步去爬取裡面的信息，代碼先貼上來：

import requests
from bs4 import BeautifulSoup #導入庫

url="httom/tag/?icn=index-nav"
wb_data=requests.get(url) #請求網址
soup=BeautifulSoup(wb_data.text,"lxml") #解析網頁信息
tags=soup.select("#content > div > div.article > div > div > table > tbody > tr > td > a")
#根據CSS路徑查找標簽信息，CSS路徑獲取方法，右鍵-檢查- selector，tags返回的是一個列表
for tag in tags:
tag=tag.get_text() #將列表中的每一個標簽信息提取出來
helf="hom/tag/"
#觀察一下豆瓣的網址，基本都是這部分加上標簽信息，所以我們要組裝網址，用於爬取標簽詳情頁
url=helf+str(tag)
print(url) #網址組裝完畢，輸出

以上我們便爬取了所有標簽下的網址，我們將這個文件命名為channel,並在channel中創建一個channel字元串，放上我們所有爬取的網址信息，等下爬取詳情頁的時候直接從這里提取鏈接就好了，如下：

channel='''
tag/程序
'''

現在，我們開始第二個程序。

QQ圖片20160915233329.png

標簽頁下每一個圖片的信息基本都是這樣的，我們可以直接從這里提取到標題，作者，出版社，出版時間，價格，評價人數，以及評分等信息（有些外國作品還會有譯者信息），提取方法與提取標簽類似，也是根據CSS路徑提取。
我們先用一個網址來實驗爬取：

url="htt/tag/科技"
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text.encode("utf-8"), "lxml")
tag=url.split("?")[0].split("/")[-1] #從鏈接裡面提取標簽信息，方便存儲
detils=soup.select("#subject_list > ul > li > div.info > div.pub") #抓取作者，出版社信息，稍後我們用spite()函數再將他們分離出來
scors=soup.select("#subject_list > ul > li > div.info > div.star.clearfix > span.rating_nums") #抓取評分信息
persons=soup.select("#subject_list > ul > li > div.info > div.star.clearfix > span.pl") #評價人數
titles=soup.select("#subject_list > ul > li > div.info > h2 > a") #書名
#以上抓取的都是我們需要的html語言標簽信息，我們還需要將他們一一分離出來
for detil,scor,person,title in zip(detils,scors,persons,titles):
#用一個zip()函數實現一次遍歷
#因為一些標簽中有譯者信息，一些標簽中沒有，為避免錯誤，所以我們要用一個try來把他們分開執行
try:
author=detil.get_text().split("/",4)[0].split()[0] #這是含有譯者信息的提取辦法，根據「/」 把標簽分為五部分，然後依次提取出來
yizhe= detil.get_text().split("/", 4)[1]
publish=detil.get_text().split("/", 4)[2]
time=detil.get_text().split("/", 4)[3].split()[0].split("-")[0] #時間我們只提取了出版年份
price=ceshi_priceone(detil) #因為價格的單位不統一，我們用一個函數把他們換算為「元」
scoe=scor.get_text() if True else "" #有些書目是沒有評分的，為避免錯誤，我們把沒有評分的信息設置為空
person=ceshi_person(person) #有些書目的評價人數顯示少於十人，爬取過程中會出現錯誤，用一個函數來處理
title=title.get_text().split()[0]
#當沒有譯者信息時，會顯示IndexError，我們分開處理
except IndexError:
try:
author=detil.get_text().split("/", 3)[0].split()[0]
yizhe="" #將detil信息劃分為4部分提取，譯者信息直接設置為空，其他與上面一樣
publish=detil.get_text().split("/", 3)[1]
time=detil.get_text().split("/", 3)[2].split()[0].split("-")[0]
price=ceshi_pricetwo(detil)
scoe=scor.get_text() if True else ""
person=ceshi_person(person)
title=title.get_text().split()[0]
except (IndexError,TypeError):
continue
#出現其他錯誤信息，忽略，繼續執行（有些書目信息下會沒有出版社或者出版年份，但是數量很少，不影響我們大規模爬取，所以直接忽略）
except TypeError:
continue

#提取評價人數的函數，如果評價人數少於十人，按十人處理
def ceshi_person(person):
try:
person = int(person.get_text().split()[0][1:len(person.get_text().split()[0]) - 4])
except ValueError:
person = int(10)
return person

#分情況提取價格的函數，用正則表達式找到含有特殊字元的信息，並換算為「元」
def ceshi_priceone(price):
price = detil.get_text().split("/", 4)[4].split()
if re.match("USD", price[0]):
price = float(price[1]) * 6
elif re.match("CNY", price[0]):
price = price[1]
elif re.match("A$", price[0]):
price = float(price[1:len(price)]) * 6
else:
price = price[0]
return price
def ceshi_pricetwo(price):
price = detil.get_text().split("/", 3)[3].split()
if re.match("USD", price[0]):
price = float(price[1]) * 6
elif re.match("CNY", price[0]):
price = price[1]
elif re.match("A$", price[0]):
price = float(price[1:len(price)]) * 6
else:
price = price[0]
return price

實驗成功後，我們就可以爬取數據並導入到資料庫中了，以下為全部源碼，特殊情況會用注釋一一說明。

import requests
from bs4 import BeautifulSoup
import time
import re
import pymysql
from channel import channel #這是我們第一個程序爬取的鏈接信息
import random

def ceshi_person(person):
try:
person = int(person.get_text().split()[0][1:len(person.get_text().split()[0]) - 4])
except ValueError:
person = int(10)
return person

def ceshi_priceone(price):
price = detil.get_text().split("/", 4)[4].split()
if re.match("USD", price[0]):
price = float(price[1]) * 6
elif re.match("CNY", price[0]):
price = price[1]
elif re.match("A$", price[0]):
price = float(price[1:len(price)]) * 6
else:
price = price[0]
return price

def ceshi_pricetwo(price):
price = detil.get_text().split("/", 3)[3].split()
if re.match("USD", price[0]):
price = float(price[1]) * 6
elif re.match("CNY", price[0]):
price = price[1]
elif re.match("A$", price[0]):
price = float(price[1:len(price)]) * 6
else:
price = price[0]
return price


#這是上面的那個測試函數，我們把它放在主函數中
def mains(url):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text.encode("utf-8"), "lxml")
tag=url.split("?")[0].split("/")[-1]
detils=soup.select("#subject_list > ul > li > div.info > div.pub")
scors=soup.select("#subject_list > ul > li > div.info > div.star.clearfix > span.rating_nums")
persons=soup.select("#subject_list > ul > li > div.info > div.star.clearfix > span.pl")
titles=soup.select("#subject_list > ul > li > div.info > h2 > a")
for detil,scor,person,title in zip(detils,scors,persons,titles):
l = [] #建一個列表，用於存放數據
try:
author=detil.get_text().split("/",4)[0].split()[0]
yizhe= detil.get_text().split("/", 4)[1]
publish=detil.get_text().split("/", 4)[2]
time=detil.get_text().split("/", 4)[3].split()[0].split("-")[0]
price=ceshi_priceone(detil)
scoe=scor.get_text() if True else ""
person=ceshi_person(person)
title=title.get_text().split()[0]
except IndexError:
try:
author=detil.get_text().split("/", 3)[0].split()[0]
yizhe=""
publish=detil.get_text().split("/", 3)[1]
time=detil.get_text().split("/", 3)[2].split()[0].split("-")[0]
price=ceshi_pricetwo(detil)
scoe=scor.get_text() if True else ""
person=ceshi_person(person)
title=title.get_text().split()[0]
except (IndexError,TypeError):
continue

except TypeError:
continue
l.append([title,scoe,author,price,time,publish,person,yizhe,tag])
#將爬取的數據依次填入列表中


sql="INSERT INTO allbooks values(%s,%s,%s,%s,%s,%s,%s,%s,%s)" #這是一條sql插入語句
cur.executemany(sql,l) #執行sql語句，並用executemary()函數批量插入資料庫中
conn.commit()

#主函數到此結束


# 將Python連接到MySQL中的python資料庫中
conn = pymysql.connect( user="root",password="123123",database="python",charset='utf8')
cur = conn.cursor()

cur.execute('DROP TABLE IF EXISTS allbooks') #如果資料庫中有allbooks的資料庫則刪除
sql = """CREATE TABLE allbooks(
title CHAR(255) NOT NULL,
scor CHAR(255),
author CHAR(255),
price CHAR(255),
time CHAR(255),
publish CHAR(255),
person CHAR(255),
yizhe CHAR(255),
tag CHAR(255)
)"""
cur.execute(sql) #執行sql語句，新建一個allbooks的資料庫


start = time.clock() #設置一個時鍾，這樣我們就能知道我們爬取了多長時間了
for urls in channel.split():
urlss=[urls+"?start={}&type=T".format(str(i)) for i in range(0,980,20)] #從channel中提取url信息，並組裝成每一頁的鏈接
for url in urlss:
mains(url) #執行主函數，開始爬取
print(url) #輸出要爬取的鏈接，這樣我們就能知道爬到哪了，發生錯誤也好處理
time.sleep(int(format(random.randint(0,9)))) #設置一個隨機數時間，每爬一個網頁可以隨機的停一段時間，防止IP被封
end = time.clock()
print('Time Usage:', end - start) #爬取結束，輸出爬取時間
count = cur.execute('select * from allbooks')
print('has %s record' % count) #輸出爬取的總數目條數

# 釋放數據連接
if cur:
cur.close()
if conn:
conn.close()

這樣，一個程序就算完成了，豆瓣的書目信息就一條條地寫進了我們的資料庫中，當然，在爬取的過程中，也遇到了很多問題，比如標題返回的信息拆分後中會有空格，寫入資料庫中會出現錯誤，所以只截取了標題的第一部分，因而導致資料庫中的一些書名不完整，過往的大神如果有什麼辦法，還請指教一二。
等待爬取的過程是漫長而又欣喜的，看著電腦上一條條信息被刷出來，成就感就不知不覺湧上心頭；然而如果你吃飯時它在爬，你上廁所時它在爬，你都已經爬了個山回來了它還在爬時，便會有點崩潰了，擔心電腦隨時都會壞掉（還是窮學生換不起啊啊啊啊~）
所以，還是要好好學學設置斷點，多線程，以及正則，路漫漫其修遠兮，吾將上下而求索~共勉~

② 豆瓣讀書數據分析-python

豆瓣讀書數據分析-python

（思路來自課程老師綠樹）剛剛學完python數據分析的課程，決定做一個有關python數據分析的小項目，思來想去，還是決定分析豆瓣的數據，因為豆瓣是python寫成的。用python爬蟲抓取數據較為方便，比一般網站少很多頁面bug問題，而且豆瓣上的數據量大概在million這個量級，算是算太大的，但也不小。正好手裡有一份跑出的大概300多萬的數據，直接開始分析。

首先導入數據，將數據賦給一個dataframe，取名為douban

douban=pd.read_table("douban.dat",sep="::",names=["user","book","rate"])

看一下這個數據的描述 

總共3648104行，其他的諸如平均數，中位數的值，是豆瓣書籍的鏈接後綴，並無實際意義。

然後關於豆瓣讀書用戶

user_count=douban.groupby('user').count()

user_count=user_count.sort('book',ascending=False)

、我們發現共有38萬多讀者，計數最多的一位eastwolf東狼，真的很厲害，一共寫了4000多的書評。不過我們不排除這是個機器人或者公眾號，因為4000度書評，就算一天看一本書，也要寫11年，而豆瓣創建才不過11年。有點假，不過這個問題我們暫且不談，僅從數據來看，第一名最愛讀書的書霸，就是eastwolf了，大家鼓掌。

然後我們再來看一下書籍的信息

看一下描述

最受歡迎的書有2071個書評，平均每本書大概有45個書評。

看一下具體情況

我們挑出書評最多的10本，找到圖片，就是以下這10本書

可以發現由於不同出版社不同翻譯的問題，10本書實際是4本，豆瓣果然是文藝青年聚集地，《小王子》《追風箏的人》《活著》幾乎就是文藝青年必備了。 

  豆瓣做為文藝青年聚集地，本身用戶屬於素質較高的群體。裡面分很多小組，讀書，電影，音樂，算是給大家找志同道合之友的好地方。關於讀書這個方面，在大家都很愛讀書的基礎上，我們可以用戶進行聚類分析。依靠的根據是對書籍的打分，這樣來計算不同用戶之間的距離。因為讀的書目越相似，對同一本書打分結果越接近，說明價值觀越相同，找出這樣的相似者，就能給用戶推薦一下潛在的『同志』，算是給豆瓣增加一個社交功能了。

  首先我們把用戶信息和書本信息結合，因為考慮到大部分書籍用戶之間交集為空，而且我的電腦的處理能力有限，所以截取了用戶和書籍的前100進行分析，這樣得到一個新的dataframe

然後我們建立鄰近性矩陣

ubrcore=doubancore.pivot('user','book','rate') 

即使在取前100的條件下，依然大部分是空白，為了能夠計算，我們把空白處替換成0.

ubrcore1=ubrcore.fillna(value=0)

然後對要進行距離計算，由於本身對書本的打分在1到5之間，純粹的大小差距並不大，所以我們更多的考慮在方向上的差異，所以用餘弦距離來反應不同用戶之間的差異性。

 構建公式，並將計算結果給userdistdf這個dataframe

Userdistdf結果如下

最像用戶的就是他自己，餘弦距離都是1。其他人只能是部分相像，果然人生得一知己難啊。不過知己找不到，我們可以給用戶找10個部分相像的『同志』

構建函數

試一下

Bingo，成功!!!!

這樣，我們可以為用戶qdmimi19810920找到了10個志同道合的『同志』了。

③ 學python推薦的10本豆瓣高分書單，小白到大佬，沒看過太可惜了

前言：我自己整理了幾本書籍的電子檔，需要的可以私信我 「書籍」 免費領取

本書一共12章，每一章都會用一個完整的 游戲 來演示其中的關鍵知識點，並通過編寫好玩的小軟體這種方式來學習編程，引發讀者的興趣，降低學習的難度。每章最後都會對該章的知識點進行小結，還會給出一些小練習讓讀者試試身手。作者很巧妙的將所有編程知識嵌入到了這些例子中，真正做到了寓教於樂。

《Python編程初學者指南》內容淺顯易懂，示例輕松活潑，是國際暢銷的Python初學者教程，適合對Python感興趣的初級和中級讀者。

二，Python編程快速上手

本書是一本面向實踐的Python編程實用指南。這本書不僅是介紹Python語言的基礎知識，而且還通過項目實踐教會讀者如何應用這些知識和技能。 書的首部分介紹了基本Python編程概念，第二部分介紹了一些不同的任務，通過編寫Python程序，可以讓計算機自動完成它們。第二部分的每一章都有一些項目程序，供讀者學習。每章的末尾還提供了一些習題和深入的實踐項目，幫助讀者鞏固所學的知識。附錄部分提供了所有習題的解答。

本書適合缺乏編程基礎的初學者。通過閱讀本書，讀者將能利用強大的編程語言和工具，並且會體會到Python編程的快樂。

三，Python編程快速上手(第2版)

在本書中，你將學習利用Python編程在幾分鍾內完成手動需要幾小時的工作，無須事先具備編程經驗。通過閱讀本書，你會學習Python的基本知識， 探索 Python豐富的模塊庫，並完成特定的任務（例如，從網站抓取數據，讀取PDF和Word文檔等）。本書還包括有關輸入驗證的實現方法，以及自動更新CSV文件的技巧。一旦掌握了編程的基礎知識，你就可以毫不費力地創建Python程序，自動化地完成很多繁瑣的工作，包括:

① 在一個文件或多個文件中搜索並保存同類文本；

② 創建、更新、移動和重命名成百上千個文件和文件夾；

③ 下載搜索結果和處理Web在線內容；

④ 快速地批量化處理電子表格；

⑤ 拆分、合並PDF文件，以及為其加水印和加密；

⑥ 向特定人群發送提醒郵件和文本通知；

⑦ 同時裁剪、調整、編輯成千上萬張圖片。

四，Python編程

本書是一本針對所有層次的Python 讀者而作的Python 入門書。全書分兩部分：第一部分介紹用Python 編程所必須了解的基本概念，包括matplotlib、NumPy 和Pygal 等強大的Python 庫和工具介紹，以及列表、字典、if 語句、類、文件與異常、代碼測試等內容；第二部分將理論付諸實踐，講解如何開發三個項目，包括簡單的Python 2D 游戲 開發如何利用數據生成互動式的信息圖，以及創建和定製簡單的Web 應用，並幫讀者解決常見編程問題和困惑。

五，Python編程（第2版)

本書是針對所有層次Python讀者而作的Python入門書。全書分兩部分：第一部分介紹用Python編程所必須了解的基本概念，包括Matplotlib等強大的Python庫和工具，以及列表、字典、if語句、類、文件與異常、代碼測試等內容；第二部分將理論付諸實踐，講解如何開發三個項目，包括簡單的2D 游戲 、利用數據生成互動式的信息圖以及創建和定製簡單的Web應用，並幫助讀者解決常見編程問題和困惑。

第2版進行了全面修訂，簡化了Python安裝流程，新增了f字元串、get()方法等內容，並且在項目中使用了Plotly庫以及新版本的Django和Bootstrap，等等。

六，Python深度學習

本書由Keras之父、現任Google人工智慧研究員的弗朗索瓦•肖萊（François Chollet）執筆，詳盡介紹了用Python和Keras進行深度學習的 探索 實踐，涉及計算機視覺、自然語言處理、生成式模型等應用。書中包含30多個代碼示例，步驟講解詳細透徹。由於本書立足於人工智慧的可達性和大眾化，讀者無須具備機器學習相關背景知識即可展開閱讀。在學習完本書後，讀者將具備搭建自己的深度學習環境、建立圖像識別模型、生成圖像和文字等能力。

七，Python極客項目編程

本書包含了一組富有想像力的編程項目，它們將引導你用Python 來製作圖像和音樂、模擬現實世界的現象，並與Arino 和樹莓派這樣的硬體進行交互。你將學習使用常見的Python 工具和庫，如numpy、matplotlib 和pygame等等。

八，Python神經網路編程

本書揭示神經網路背後的概念，並介紹如何通過Python實現神經網路。全書分為3章和兩個附錄。第1章介紹了神經網路中所用到的數學思想。第2章介紹使用Python實現神經網路，識別手寫數字，並測試神經網路的性能。第3章帶領讀者進一步了解簡單的神經網路，觀察已受訓練的神經網路內部，嘗試進一步改善神經網路的性能，並加深對相關知識的理解。附錄分別介紹了所需的微積分知和樹莓派知識。

本書適合想要從事神經網路研究和 探索 的讀者學習參考，也適合對人工智慧、機器學習和深度學習等相關領域感興趣的讀者閱讀。

九，趣學ython編程

《趣學python編程》是一本輕松、快速掌握python編程的入門讀物。全書分為3部分，共18章。第1部分是第1章到第12章，介紹python編程基礎知識，包括python的安裝和配置、變數、字元串、列表、元組和字典、條件語句、循環語句函數和模塊、類、內建函數和繪圖，等等。第2部分是第13章和第14章，介紹如何用python開發實例 游戲 彈球。第3部分包括第15章到第18章，介紹了火柴人實例 游戲 的開發過程。

這本書語言輕松，通俗易懂，講解由淺入深，力求將讀者閱讀和學習的難度降到最低。任何對計算機編程有興趣的人或者首次接觸編程的人，不論孩子還是成人，都可以通過閱讀本書來學習python編程。

十，Python網路編程（第3版)

本書針對想要深入理解使用Python來解決網路相關問題或是構建網路應用程序的技術人員，結合實例講解了網路協議、網路數據及錯誤、電子郵件、伺服器架構和HTTP及Web應用程序等經典話題。具體內容包括：全面介紹Python3中最新提供的SSL支持，非同步I/O循環的編寫，用Flask框架在Python代碼中配置URL，跨站腳本以及跨站請求偽造攻擊網站的原理及保護方法，等等。

④ 有哪些 Python 經典書籍

【Python從入門到精通經典書籍推薦】

• Python入門
  目的：了解Python，學會用Python編程。
  Python入門書眾多，沒必要全部閱讀，根據介紹挑選合適自己的。PS：排名不分先後。
  

《Python編程入門：從入門到實踐》
【同時使用Python 2.X和3.X講解】

Amazon編程入門類榜首圖書，最值得關注的Python入門書

從基本概念到完整項目開發，幫助零基礎讀者迅速掌握Python編程，開發實際項目

這本書分兩部分：
第一部分介紹用Python編程所必須了解的基本概念，包括matplotlib、NumPy和Pygal等強大的Python庫和工具介紹，以及列表、字典、if語句、類、文件與異常、代碼測試等內容；
第二部分將理論付諸實踐，講解如何開發三個項目，包括簡單的Python 2D游戲開發，如何利用數據生成互動式的信息圖，以及創建和定製簡單的Web應用，並幫讀者解決常見編程問題和困惑。

《Python基礎教程（第2版·修訂版）》
【Python 2.5講解，Python 3上也能運行】

各大網店最暢銷的Python入門書

全書分為三部分。
第一部分講述Python語法，沒有廢話，還摻入了一些Python 3.0要注意的細節。
第二部分介紹了常用的GUI、框架等應用，點到即止，算是為第三部分做鋪墊了，從數目眾多的應用中可以了解到Python的強大。
第三部分是Project，全書最大的亮點，大家肯定喜歡。
作者將前面講述的內容應用到10個引人入勝的項目中，並以模板的形式介紹了項目的開發過程，手把手教授Python開發。

《Python語言及其應用》
【Python 3.X】

語言風格輕松詼諧，講解多種Python工具和第三方庫

實例涉及商業、科研以及藝術領域使用Python開發各種應用

亞馬遜最受歡迎的Python編程書之一，評分4.5

書中首先介紹了Python的基礎知識，然後逐漸深入多種主題，結合教程和攻略式風格來講解Python 3中的概念。每章結尾的練習可以幫助你鞏固所學的知識。
本書會為你學習Python打下堅實的基礎，包括測試、調試、代碼復用的最佳實踐以及其他開發技巧。

《Python編程入門（第3版）》
【Python 3.X 】

從算術運算、字元串、變數，到函數、數據結構、輸入輸出和異常處理，應有盡有

《父與子的編程之旅：與小卡特一起學Python》
【Python 2.X 】

原版Amazon 最受歡迎的青少年編程圖書

最簡單易學的內容組織方式，老少皆宜

第一版獲Jolt大獎

本書中，Warren和Carter父子以親切的筆調、通俗的語言，透徹全面地介紹了計算機編程世界。
他們以簡單易學的Python語言為例，通過可愛的漫畫、有趣的例子，生動地介紹了變數、循環、輸入和輸出、數據結構以及圖形用戶界面等編程的基本概念。
只要懂得計算機的基本操作，如啟動程序、保存文件，任何人都可以跟隨本書，由簡入難，學會編寫程序，甚至製作游戲。
本書內容經過教育專家的評審，經過孩子的親身檢驗，並得到了家長的認可。

《編程導論》
【Python 2.7】

以麻省理工學院開放式課程（OpenCourseWare）中最受歡迎的計算機科學課程為基礎，旨在培養讀者的編程思維，使讀者擁有計算機科學家的視野

本書涵蓋了Python的大部分特性，重點介紹如何使用Python這門語言，共包含編程基礎、Python程序設計語言、理解計算的關鍵概念、計算問題的解決技術等四個方面。
本書將Python語言特性和編程方法貫穿全書，目的是幫助讀者在學習Python的同時掌握如何使用計算來解決有趣的問題。

• Python進階
  需要一定Python基礎。
  
  
  

《流暢的Python》
【兼顧Python 3和Python 2】

PSF研究員、知名PyCon演講者心血之作

Python核心開發人員擔綱技術審校

全面深入，對Python語言關鍵特性剖析到位

大量詳盡代碼示例，並附有主題相關高質量參考文獻和視頻鏈接

本書致力於幫助Python開發人員挖掘這門語言及相關程序庫的優秀特性，避免重復勞動，同時寫出簡潔、流暢、易讀、易維護，並且具有地道Python風格的代碼。本書尤其深入探討了Python語言的高級用法，涵蓋數據結構、Python風格的對象、並行與並發，以及元編程等不同的方面。

《Python項目開發實戰（第2版）》
【Python 2.7】

網羅Python項目開發中的流程，讓你的編程事半功倍

Python項目與封裝/團隊開發環境/問題驅動開發/源碼管理（Mercurial） Jenkins持續集成（CI）/環境搭建與部署的自動化（Ansible）/Django框架……

這是一本偏工程的圖書，沒怎麼講Python語言基礎知識，直接告訴你怎麼搭建開發環境，做好代碼管理和文檔管理以及缺陷管理等工作。

《Python網路編程攻略》
【Python 2.7】

可作為任何一門網路編程課程中培養實踐技能的補充材料

需要讀者對Python語言及TCP/IP等基本的網路概念有了解，但即使不精通也能通過本書理解相關概念

本書全面介紹了Python網路編程涉及的重要問題，包括網路編程、系統和網路管理、網路監控以及Web應用開發。作者通過70多篇攻略，清晰簡明地描述了各種網路任務和問題，提出了可用於多種場景的解決方案，並細致地分析了整個操作過程。

《Python網路編程（第3版）》
【Python 3.X】

涵蓋網路編程所有經典話題，提供大量代碼清單及示例

從應用開發角度介紹網路編程基本概念、模塊以及第三方庫

本書針對想要深入理解使用Python來解決網路相關問題或是構建網路應用程序的技術人員，結合實例講解了網路協議、網路數據及錯誤、電子郵件、伺服器架構和HTTP及Web應用程序等經典話題。
具體內容包括：全面介紹Python3中最新提供的SSL支持，非同步I/O循環的編寫，用Flask框架在Python代碼中配置URL，跨站腳本以及跨站請求偽造攻擊網站的原理及保護方法，等等。

《Python性能分析與優化》
【Python 2.X】

全面掌握Python代碼性能分析和優化方法

消除性能瓶頸，迅速改善程序性能

本書首先介紹什麼是性能分析，性能分析如何在項目開發周期中發揮作用，以及通過在項目中進行性能分析實踐能夠取得的效果。
緊接著介紹分析性能所需的核心工具（性能分析器和可視化性能分析器）。
然後介紹一系列性能優化技術，最後一章會介紹一個具有實際意義的優化案例。

《精通Python設計模式》
【Python 3.X】

用現實例子展示各模式的關鍵特性

16種基本設計模式，輕松解決軟體設計常見問題

本書分三部分，共16章介紹一些常用的設計模式。
第一部分介紹處理對象創建的設計模式，包括工廠模式、建造者模式、原型模式；
第二部分介紹處理一個系統中不同實體（類、對象等）之間關系的設計模式，包括外觀模式、享元模式等；
第三部分介紹處理系統實體之間通信的設計模式，包括責任鏈模式、觀察者模式等。

《Flask Web開發：基於Python的Web應用開發實戰》
【Python 2.7和3.3】

從安裝與環境設置講起，一步一步搭建伺服器端Web應用

全流程講解Web應用開發，給出最佳實踐

本書共分三部分，全面介紹如何基於Python微框架Flask進行Web開發。
第一部分是Flask簡介，介紹使用Flask框架及擴展開發Web程序的必備基礎知識。
第二部分則給出一個實例，真正帶領大家一步步開發完整的博客和社交應用Flasky，從而將前述知識融會貫通，付諸實踐。
第三部分介紹了發布應用之前必須考慮的事項，如單元測試策略、性能分析技術、Flask程序的部署方式等。

《Python Web開發：測試驅動方法》
【（Django、Selenium）相關部分使用Python 3.3講解】

亞馬遜4.8星評好書

實戰式TDD開發指南，使用Django等流行框架開發現代Web應用！

學習Django、Selenium、Git、jQuery和Mock，以及其他當前流行Web開發技術

「這本書很棒、很有趣，所講的全都是重點知識。如果有人想用Python做測試、學習Django或者想使用Selenium，我極力推薦這本書。要使開發者保持頭腦清醒，測試可謂至關重要。Harry完成了一項不可思議的工作，他不僅吸引了我們對測試的關注，而且還探索了切實可行的測試實踐方案。」

——Michael Foord，Python核心開發者，unittest維護者

• Python應用
  用Python數據分析，數據處理，機器學習等等。
  

《數據科學入門》
【Python 2.7】

Google數據科學家、軟體工程師Joel Grus作品

用Python從零開始講解數據科學的重量級讀本

數據科學、機器學習、模式識別領域必備

本書從零開始講解數據科學。
具體內容包括Python簡介，可視化數據，線性代數，統計，概率，假設與推斷，梯度下降法，如何獲取數據，k近鄰法，樸素貝葉斯演算法等。
作者藉助大量具體例子以及數據挖掘、統計學、機器學習等領域的重要概念，通過講解基礎數據科學工具和演算法實現，帶你快速跨入數據科學大門。
書中含大量數據科學領域的庫、框架、模塊和工具包。

《機器學習實戰》
【Python 2.7】

最暢銷機器學習圖書

介紹並實現機器學習的主流演算法

面向日常任務的高效實戰內容

全書通過精心編排的實例，切入日常工作任務，摒棄學術化語言，利用高效的可復用Python代碼來闡釋如何處理統計數據，進行數據分析及可視化。
通過各種實例，讀者可從中學會機器學習的核心演算法，並能將其運用於一些策略性任務中，如分類、預測、推薦。另外，還可用它們來實現一些更高級的功能，如匯總和簡化等。

《機器學習系統設計》
【Python 2.7及以上】

微軟Bing核心團隊成員推出

聚焦演算法編寫和編程方式

結合大量實例學會解決實際問題

本書將向讀者展示如何從原始數據中發現模式，首先從Python與機器學習的關系講起，再介紹一些庫，然後就開始基於數據集進行比較正式的項目開發了，涉及建模、推薦及改進，以及聲音與圖像處理。通過流行的開源庫，我們可以掌握如何高效處理文本、圖片和聲音。同時，讀者也能掌握如何評估、比較和選擇適用的機器學習技術。

《Python數據處理》
【Python 2.7】

將數據處理過程自動化！

全面掌握用Python進行爬蟲抓取以及數據清洗與分析的方法，輕松實現高效數據處理！

本書採用基於項目的方法，介紹用Python完成數據獲取、數據清洗、數據探索、數據呈現、數據規模化和自動化的過程。
主要內容包括：Python基礎知識，如何從CSV、Excel、XML、JSON和PDF文件中提取數據，如何獲取與存儲數據，各種數據清洗與分析技術，數據可視化方法，如何從網站和API中提取數據。

《Python數據分析基礎教程：NumPy學習指南（第2版）》
【Python 2.7】

NumPy中文入門教程，Python數據分析首選

從最基礎的知識講起，手把手帶你進入大數據挖掘領域

囊括大量具有啟發性與實用價值的實戰案例

本書從NumPy安裝講起，逐漸過渡到數組對象、常用函數、矩陣運算、線性代數、金融函數、窗函數、質量控制等內容，致力於向初中級Python編程人員全面講述NumPy及其使用。
另外，通過書中豐富的示例，你還將學會Matplotlib繪圖，並結合使用其他Python科學計算庫（如SciPy和Scikits），讓工作更有成效，讓代碼更加簡潔而高效。

《Python數據挖掘入門與實踐》
【Python 3.4】

全面釋放Python的數據分析能力

掌握大數據時代核心技術，輕松入門數據挖掘技術並將其應用於實際項目

本書使用簡單易學且擁有豐富第三方庫和良好社區氛圍的Python語言，由淺入深，以真實數據作為研究對象，真刀實槍地向讀者介紹Python數據挖掘的實現方法。通過本書，讀者將邁入數據挖掘的殿堂，透徹理解數據挖掘基礎知識，掌握解決數據挖掘實際問題的最佳實踐！

《Python科學計算基礎教程》
【Python 2.7及以上】

精彩案例展示Numpy等科學計算模塊的強大功能和廣泛應用

剖析Python關於並行與大數據計算的方法

總結科學計算的任務、難點以及最佳實踐經驗

本書是將Python用於科學計算的實用指南，既介紹了相關的基礎知識，又提供了豐富的精彩案例，並為讀者總結了最佳實踐經驗。
其主要內容包括：科學計算的基本概念與選擇Python的理由，科學工作流和科學計算的結構，科學項目相關數據的各個方面，用於科學計算的API和工具包，如何利用Python的NumPy和SciPy包完成數值計算，用Python做符號計算，數據分析與可視化，並行與大規模計算，等等。

《Python數據分析實戰》
【Python 2.X】

了解Python在信息處理、管理和檢索方面的強大功能

學會如何利用Python及其衍生工具處理、分析數據

三個真實Python數據分析案例，將理論付諸實踐

《Python數據分析實戰》展示了如何利用Python 語言的強大功能，以最小的編程代價進行數據的提取、處理和分析，主要內容包括：數據分析和Python 的基本介紹，NumPy 庫，pandas 庫，如何使用pandas 讀寫和提取數據，用matplotlib 庫和scikit-learn 庫分別實現數據可視化和機器學習，以實例演示如何從原始數據獲得信息、D3 庫嵌入和手寫體數字的識別。

《Python網路數據採集》
【Python 3.X】

原書4.6星好評，一本書搞定數據採集

涵蓋數據抓取、數據挖掘和數據分析

提供詳細代碼示例，快速解決實際問題

本書介紹網路數據採集，並為採集新式網路中的各種數據類型提供了全面的指導。
第一部分重點介紹網路數據採集的基本原理：如何用Python從網路伺服器請求信息，如何對伺服器的響應進行基本處理，以及如何以自動化手段與網站進行交互。
第二部分介紹如何用網路爬蟲測試網站，自動化處理，以及如何通過更多的方式接入網路。

《Python計算機視覺編程》
【Python 2.6及以上】

亞馬遜計算機視覺類圖書No.1

詳細剖析多種計算機視覺工具

大量示例極易上手

本書是計算機視覺編程的權威實踐指南，通過Python語言講解了基礎理論與演算法，並通過大量示例細致分析了對象識別、基於內容的圖像搜索、光學字元識別、光流法、跟蹤、3D重建、立體成像、增強現實、姿態估計、全景創建、圖像分割、降噪、圖像分組等技術。

⑤ .利用python獲得豆瓣電影前30部電影的中文片名,排名,導演,主演,上映時間

熱門頻道

首頁

博客

研修院

VIP

APP

問答

下載

社區

推薦頻道

活動

招聘

專題

打開CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved

打開APP

python 網路爬蟲 1.2 獲取豆瓣TOP250電影的中英文名、港台名、導演、上映年份、電影分類以及評分，將數據存入文檔。 原創
2021-07-19 01:03:15
2點贊

zynaln

碼齡8年

關注
題目：
獲取豆瓣TOP250電影的中英文名、港台名、導演、上映年份、電影分類以及評分，將數據存入文檔。
代攔枯衫碼：

輸出結果：

文章知識點與官方知識檔案匹配
Python入門技能樹網路爬蟲urllib
201761 人正在系統學敗租習中
打開CSDN APP，看更多技術內容

最新發布 用python爬取豆瓣影評及影片信簡腔息(評論時間、用戶ID、評論內容)
用python爬取豆瓣影評及影片信息(評論時間、用戶ID、評論內容)
繼續訪問

python
寫評論

7

14

2

踩

分享

⑥ python零基礎學習課程哪個好

對於零基礎的朋友，如果選擇自學的話，我按由淺入深的順序推薦：

1 《父與子的編程之旅》。了解了計算機的基本運行原理和編程的基本概念。

2 《Python簡明教程》。這是一本言簡意賅的 Python 入門教程，簡單直白，沒有廢話。就算沒有基礎，你也可以像讀小說一樣，花幾天時間就可以讀完，適合快速了解語法。

3 廖雪峰編寫的《Python教程》。廖先生的教程涵蓋了 Python 知識的方方面面，內容更加系統，有一定深度，有一定基礎之後學習會有更多的收獲。

4 可以參考的書有《笨辦法學Python》，《Head First Python》，《Python編程-從入門到實踐》。

注意：在學習編程的時候一定要注重編碼實踐，不寫大量的代碼，是學不好編程的，而且要培養自己的編程思維，邏輯思維。

⑦ python的推薦書籍有哪些

推薦的幾本Python入門自學到精通必看的書籍吧~

1、《「笨辦法」學Python》

為什麼把它作為推薦給Python入門自學者的第一本書？因為它足夠有趣吸引人。一開始我們都是憑著興趣學習的，如果在剛剛開始學習的時候，就看深奧難讀的書，很容易就從入門到放棄。而且這本書里每一章知識講完後，都會配有相應的練習小題，幫助初學者在學中練，練中學，進一步鞏固相關知識點。總之，這本書以習題的方式引導學習者一步一步學習編程，從簡單的列印一直講授到完整項目的實現，讓初學者從基礎的編程技術入手，最終體驗到軟體開發的基本過程。可以說，這本書是零基礎入門Python的不二之選！

2、《Python快速編程入門》

這本書是一本Python基礎教程，因此全部內容定位於Python的基本知識、語法、函數、面向對象等基礎性內容。在夯實基礎後，該書後一章設置了游戲開發的綜合訓練，幫助初學者更好掌握相關知識。除此之外，本書附有配套視頻、源代碼、習題、教學課件等資源。總之，

本書既可作為高等院校本、專科計算機相關專業的程序設計課程教材，也可作為Python編程基礎的學習教材，是一本適合廣大編程開發初學者的入門級教材。

3、《Python高手之路(第3版) 》

本書不適合零基礎學習者，適合有一定Python基礎的學習者閱讀。因為該書完全從實戰的角度出發，介紹了需要系統掌握的Python知識。更為難得的是，本書結合了Python在OpenStack中的應用進行講解，非常具有實戰指導意義。此外，本書還涉及了很多高級主題，如性能優化、插件化結構的設計與架構、Python
3的支持策略等。因此，本書適合初中級層次的Python程序員閱讀和參考。

4、《Python演算法教程》

本書最大的優點簡單概括起來就是知識點清晰，語言簡潔。書中用Python語言來講解演算法的分析和設計，主要關注經典的演算法，幫助讀者理解基本演算法問題和解決問題打下很好的基礎。本書概念和知識點講解清晰，語言簡潔，因此適合對Python演算法感興趣的初中級用戶閱讀和自學，也適合高等院校的計算機系學生作為參考教材來閱讀。

5、《Python核心編程（第3版）》

本書涵蓋了成為一名技術全面的Python開發人員所需的一切內容，因此是每個想要精通Python的工程師必須要學習和了解的內容。在本書中，Python開發人員兼企業培訓師Wesley
Chun會幫助學習者將Python技能提升到更高的水平。而且書中講解了應用開發相關的多個領域，可以幫助讀者立即應用到項目開發中。

6、《精通Python自然語言處理》

眾做周知，自然語言處理是計算語言學和人工智慧之中與人機交互相關的領域之一。本書是學習自然語言處理的一本綜合學習指南，該書介紹了如何用Python實現各種NLP任務，以幫助讀者創建基於真實生活應用的項目。全書共10章，分別涉及字元串操作、統計語言建模、形態學、詞性標注、語法解析、語義分析、情感分析、信息檢索、語篇分析和NLP系統評估等主題。本書適合熟悉Python語言並對自然語言處理開發有一定了解和興趣的讀者閱讀參考。

以上就是推薦的Python入門到精通的所有書籍，相信總有一本適合你。但想要快速入門Python開發，僅靠看書怎麼夠，畢竟編程最重要的就是練習。

對於Python開發有興趣的小夥伴們，不妨先從看看Python開發書籍開始入門！B站上有很多的Python教學視頻，從基礎到高級的都有，還挺不錯的，知識點講的很細致，還有完整版的學習路線圖。也可以自己去看看，下載學習試試。

⑧ 《流暢的Python》epub下載在線閱讀，求百度網盤雲資源

《流暢的Python》（[巴西] Luciano Ramalho）電子書網盤下載免費在線閱讀

鏈接：https://pan..com/s/1lqfnjNgr6--WCAihKrdV7Q

書名：流暢的Python

作者：[巴西] Luciano Ramalho

譯者：安道

豆瓣評分：9.4

出版社：人民郵電出版社告數

出版年份：2017-5-15

頁數：628

內容簡介：

【技術大咖推薦】

「很榮幸擔任這本優秀圖書的技術審校。這本書能幫助很多中級Python程序員掌握這門語言，我也從中學到了相當多的知識！」——Alex Martelli，Python軟體基金會成員

「對於想要擴充知識的中級和高級Python程序員來說，這本書是充襪手首滿了實用編程技巧的寶藏。」——Daniel Greenfeld和Audrey Roy Greenfeld，Two Scoops of Django作者

【本書特色】

本書由奮戰在Python開發一線近20年的Luciano Ramalho執筆，Victor Stinner、Alex Martelli等Python大咖擔綱技術審稿人，從語言設計層面剖析編程細節，兼顧Python 3和Python 2，告訴你Python中不親自動手實踐就無法理解的語言陷阱成因和解決之道，教你寫出風格地道的Python代碼。

● Python數據模型：理解為什麼特殊方法是對象行為一致的關鍵。

● 數據結構：充分利用內置類型，理解Unicode文本和位元組二象性。

● 把函數視作對象：把Python函數視作一等對象，並了解這一點對流行的設計模式的影響。

● 面向對象習慣用法：通過構建類學習引用、可變性、介面、運算符重載和多重繼承。

● 控制流程：學習使用上下文管理器、生成器、協程，以及通過concurrent.futures和asyncio包實現的並發。

● 元編程：理解特性、描述符、類裝飾器和元類的工作原理。

【主要內容】

本書致力於幫助Python開發人員挖掘這門語言及相關程序庫的優秀特性，避免重復勞動，同時寫出簡潔、流暢、易讀、易維護，並且具有地道Python風格的代碼。本書尤其深入探討了Python語言的高級用法，涵蓋數據結構、Python風格的對象、並行與並發，以及元編程等不同的方面。

本書適合中高級Python軟體開發人員閱讀參考。

【譯者簡介】

安道

專注於現代計算機技術的自由翻譯，譯有《Flask Web 開發》《Python 網路編程攻略》《Ruby on Rails 教程》等書。

個人網站：http://about.ac/。

吳珂

現為Airbnb公司軟體工程師，所在團隊主要負責薯告開發和維護各類可伸縮、高性能服務，並在Airbnb內推廣面向服務的系統架構。在分布式系統、雲存儲服務和跨平台SDK開發，以及大規模數據處理等方面有多年經驗。

作者簡介：

Luciano Ramalho，從1998年起就成為了Python程序員。他是Python軟體基金會的成員，Python.pro.br（巴西的一家培訓公司）的共同所有者，還是巴西第一個眾創空間Garoa Hacker Clube的聯合創始人。他領導過多個軟體開發團隊，還在巴西的媒體、銀行和政府部門教授Python課程。

⑨ 豆瓣為什麼用python

這類網站的特點就是「Always Beta」，不斷有新的產品和功能升級來為用戶提供更好的服務。作為使用Python進行開發的網站，有效的程序開發配置和版本控岩斗制值得我們學習。
主要開發環境配置手棗遲就是SVN+Trac+Bitten。版本管理系統使用的是Subversion（SVN），使用Trac來管理協同開發，同時使用Trac的Bitten插件進行持續集成。
在開發模式方面，由於是Always Beta，採用的方式是：站點運行在主分支上，開發者在開發新功能時會建立一個子分支，新功能開發並測試完成後，會更新伺服器的主分支版本，之後上線。
在開發框架方面，主要使用Quixote（被稱之畢李為「堂吉訶德」，一個輕量級的Python Web框架，簡單、高效，代碼簡潔）；後台運行的Web服務主要使用Web.py（web.py也是一個Python的Web框架，簡單且功能強大）。

⑩ Python爬蟲實戰（1）requests爬取豆瓣電影TOP250

爬取時間：2020/11/25
系統環境：Windows 10
所用工具：Jupyter NotebookPython 3.0
涉及的庫：requestslxmlpandasmatplotlib umpy

蛋肥想法： 先將電影名稱、原名、評分、評價人數、分類信息從網站上爬取下來。

蛋肥想法： print數據列表後發現電影原名、分類信息等存在不需要的字元，需預先處理；同時因為後續想做一個豆瓣電影TOP250的維度分布圖，而同一電影存在多個發行國家、類型（如「法國 美國 / 劇情祥備 動作 犯罪」），為了簡（偷）便（懶），這里均取第一個作為記入的數據；最後將數據保存為xlsx。

蛋肥想法： 蛋肥想知道在豆瓣電影TOP250中年份、國家、類型的維度數據，為了練手，使用剛帶余才保存成xlsx的數據，並分別畫成雷達圖、柱形圖、扇謹行毀形圖。