pythonrequest庫

⑴ python的 request 庫，請求頭是什麼

就是headers，照抄瀏覽器F12里那一堆就行，如下圖，請求標頭下面所有內容都是。

⑵ 全方面的掌握Requests庫的使用【python爬蟲入門進階】（02）

上一篇文章簡單的介紹了 爬蟲相關的基礎知識點，介紹了一個標准爬蟲程序的三個步驟 。這篇文章就讓我們接著來學習。
本文重點介紹requests庫的使用以及爬蟲協議。之前也寫了一篇 Requests庫使用的博客 ，有興趣的小夥伴可以去看看。

前面介紹了Requests庫是用來抓取網頁源碼，請求介面的利器，整體上是要比urllib庫的request更加好用的庫。官網上將其稱之為唯一一個非轉基因的Python HTTP庫，人類可以安全享用。
Requests庫有7個主要方法。

不過我們平常最常用的方法還是GET方法和POST方法。

get請求方法是爬蟲中最常用到的方法，因為爬蟲主要就是爬取網頁的信息。最基礎的使用是

這里需要通過 res.encoding='utf-8' 設置響應結果的編碼格式是utf-8。不然可能會出現中文亂碼
如果響應結果是二進制數據的話則需要通過 res.content 方法來提取響應結果。
設置編碼的方式也可以是 res.content.decode('utf-8') 。
即

有時候get請求也需要傳入參數，這里可以直接將參數拼接到URL上或者通過params參數傳入一個字典。

運行結果是：

get請求只能傳入簡單的參數，如果參數比較復雜或者傳入的參數比較多的話則GET請求就不再適用了，這時候就需要適用post請求方法了。
Post請求的請求類型有三種：

以表單的方式提交數據是POST請求的默認的請求格式，只需要將參數放在一個字典中進行傳入即可。

這里將請求頭的數據放在一個名為header的字典中，然後在請求時通過headers參數傳入。在請求中設置了內容類型是 application/json ,編碼格式是 charset=utf-8
傳入的是一個json字元串，通過data參數進行傳入。json字元串可以直接寫也可以通過 json.mps(dict) 方法將一個字典序列化,就像下面這樣。

文件上傳與本節爬蟲的內容無關，在此就不過多介紹了。有興趣的小夥伴可以看看 Python中如何編寫介面，以及如何請求外部介面 這篇文章。

在網路請求中，我們常常會遇到狀態碼是3開頭的重定向問題，在Requests中是默認開啟允許重定向的，即遇到重定向時，會自動繼續訪問。通過將allow_redirects 屬性設置為False不允許重定向。

通過timeout屬性可以設置超時時間，單位是秒。get方法和post方法均可設置。

通過status_code屬性可以獲取介面的響應碼。

有時候我們使用了抓包工具，這時候由於抓包證書提供的證書並不是受信任的數字證書頒發機構頒發的，所以證書的驗證會失敗，所以我們就需要關閉證書驗證。在請求的時候把verify參數設置為False就可以關閉證書驗證了。

爬蟲協議也叫做robots協議，告訴網路蜘蛛哪些頁面可以爬取，哪些頁面不能爬取
爬蟲文件的規范是：

允許所有的機器人

本文詳細介紹了Request庫的使用

⑶ python request/讀寫/上傳文件

python 讀寫文件：

data_json = json.mps(result_r)  #json字元串  

f =open('E://XXX.txt',"a+")  #打開文件，追加+讀寫

f.write(data_json) # data_json 寫入XXX.txt'文件

f.seek(0)  # 游標移動到文件開頭

lines = f.read() # 逐行讀入

f.close() #關閉文件

mode 打開的方式（r,w,a,x,b,t,r+,w+,a+,U）

r 以只讀方式打開文件。文件的指針會放在文件的開頭。

w 以寫入方式打開文件。文件存在覆蓋文件，文件不存在創建一個新文件。

a 以追加方式打開文件。如果文件已存在，文件指針放在文件末尾。如果文件不存在，創建新文件並可寫入。

r+ 打開一個文件用於讀寫,文件指針會放在文件的開頭

w+ 打開一個文件用於讀寫,文件存在覆蓋文件，文件不存在創建一個新文件。

a+ 打開一個文件用於讀寫,如果文件已存在，文件指針放在文件末尾。如果文件不存在，創建新文件並可寫入。

記憶方法：記住r讀，w寫，a追加，每個模式後加入+號就變成可讀寫。

f =open('E://xxx.txt',"a+")    /    f=open(r'E://xxx.txt',mode='a+',encoding='UTF-8')

踩坑1>  

沒有加encoding='UTF-8'，可能會報如下錯：

import requests  # 使用 request函數需導入 request 庫

import json   #使用 JSON 函數需要導入 json 庫： import json 。

param ={} #請求body

url ='http://域名/api' 

header = {'content-type':'application/json'}

r = requests.post(url,json=param,headers=header)    #發送post請求

result_r = r.json() #請求返回的json傳入對象result_r

data_json = json.mps(result_r)  #將 Python-result_r對象轉為字元串 json.mps()

文件上傳請求(csv文件)

file_path = "xxx.csv"   文件路徑

uploaddata = {"file":open(file_path, "rb")}  

file_upload_result = requests.post(api_URL, files=uploaddata, cookies=cookie)

⑷ python3.5和python3.6對request庫的支持

requests庫是一個常用的用於http請求的模塊，它使用python語言編寫，可以方便的對網頁進行爬取，是學習python爬蟲的較好的http請求模塊。

_ip命令安裝

_indows系統下只需要在命令行輸入命令 pip install requests 即可安裝

_? linux 系統下，只需要輸入命令 sudo pip install requests ，即可安裝。

⑸ Request庫——Python實現的簡單易用的HTTP庫

Python的標准庫中自帶一個urllib模塊，可以實現爬取網頁的功能，但是體驗不好，而Requests庫繼承了urllib的所有特性，並且使用起來更方便，所以目標導向的話，Requests為不二之選。

⑹ Python3中的requests模塊怎樣用

Requests 是用Python語言編寫，基於 urllib，採用 Apache2 Licensed 開源協議的 HTTP 庫。它比 urllib 更加方便，可以節約我們大量的工作，完全滿足 HTTP 測試需求。Requests 的哲學是以 PEP 20 的習語為中心開發的，所以它比 urllib 更加 Pythoner。更重要的一點是它支持 Python3

開始要導入 Requests 模塊：

1
import requests
然後，嘗試獲取某個網頁。本例子中，我們來獲取 Github 的公共時間線：

1
r = requests.get('https://api.github.com')

可參考網址：www.cnblogs.com/wangyinghao/p/10712328.html