導航:首頁 > 編程語言 > python伺服器處理請求

python伺服器處理請求

發布時間:2022-08-04 03:33:58

python怎麼響應後端發送get,post請求的介面

測試用CGI,名字為test.py,放在apache的cgi-bin目錄下:
#!/usr/bin/Python
import cgi
def main():
print "Content-type: text/html "
form = cgi.FieldStorage()
if form.has_key("ServiceCode") and form["ServiceCode"].value != "":
print "<h1> Hello",form["ServiceCode"].value,"</h1>"
else:
print "<h1> Error! Please enter first name.</h1>"
main()

python發送post和get請求

get請求:

使用get方式時,請求數據直接放在url中。
方法一、
import urllib
import urllib2

url = "http://192.168.81.16/cgi-bin/python_test/test.py?ServiceCode=aaaa"

req = urllib2.Request(url)
print req

res_data = urllib2.urlopen(req)
res = res_data.read()
print res

方法二、
import httplib

url = "http://192.168.81.16/cgi-bin/python_test/test.py?ServiceCode=aaaa"

conn = httplib.HTTPConnection("192.168.81.16")
conn.request(method="GET",url=url)

response = conn.getresponse()
res= response.read()
print res

post請求:

使用post方式時,數據放在data或者body中,不能放在url中,放在url中將被忽略。
方法一、
import urllib
import urllib2

test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)

requrl = "http://192.168.81.16/cgi-bin/python_test/test.py"

req = urllib2.Request(url = requrl,data =test_data_urlencode)
print req

res_data = urllib2.urlopen(req)
res = res_data.read()
print res


方法二、
import urllib
import httplib
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)

requrl = "http://192.168.81.16/cgi-bin/python_test/test.py"
headerdata = {"Host":"192.168.81.16"}

conn = httplib.HTTPConnection("192.168.81.16")

conn.request(method="POST",url=requrl,body=test_data_urlencode,headers = headerdata)

response = conn.getresponse()

res= response.read()

print res
對python中json的使用不清楚,所以臨時使用了urllib.urlencode(test_data)方法;

模塊urllib,urllib2,httplib的區別
httplib實現了http和https的客戶端協議,但是在python中,模塊urllib和urllib2對httplib進行了更上層的封裝。

介紹下例子中用到的函數:
1、HTTPConnection函數
httplib.HTTPConnection(host[,port[,stict[,timeout]]])
這個是構造函數,表示一次與伺服器之間的交互,即請求/響應
host 標識伺服器主機(伺服器IP或域名)
port 默認值是80
strict 模式是False,表示無法解析伺服器返回的狀態行時,是否拋出BadStatusLine異常
例如:
conn = httplib.HTTPConnection("192.168.81.16",80) 與伺服器建立鏈接。


2、HTTPConnection.request(method,url[,body[,header]])函數
這個是向伺服器發送請求
method 請求的方式,一般是post或者get,

例如:

method="POST"或method="Get"
url 請求的資源,請求的資源(頁面或者CGI,我們這里是CGI)

例如:

url="http://192.168.81.16/cgi-bin/python_test/test.py" 請求CGI

或者

url="http://192.168.81.16/python_test/test.html" 請求頁面
body 需要提交到伺服器的數據,可以用json,也可以用上面的格式,json需要調用json模塊
headers 請求的http頭headerdata = {"Host":"192.168.81.16"}
例如:
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = "http://192.168.81.16/cgi-bin/python_test/test.py"
headerdata = {"Host":"192.168.81.16"}
conn = httplib.HTTPConnection("192.168.81.16",80)
conn.request(method="POST",url=requrl,body=test_data_urlencode,headers = headerdata)
conn在使用完畢後,應該關閉,conn.close()


3、HTTPConnection.getresponse()函數
這個是獲取http響應,返回的對象是HTTPResponse的實例。


4、HTTPResponse介紹:
HTTPResponse的屬性如下:
read([amt]) 獲取響應消息體,amt表示從響應流中讀取指定位元組的數據,沒有指定時,將全部數據讀出;
getheader(name[,default]) 獲得響應的header,name是表示頭域名,在沒有頭域名的時候,default用來指定返回值
getheaders() 以列表的形式獲得header
例如:

date=response.getheader('date');
print date
resheader=''
resheader=response.getheaders();
print resheader

列形式的響應頭部信息:

[('content-length','295'),('accept-ranges','bytes'),('server','Apache'),('last-modified','Sat,31Mar201210:07:02GMT'),('connection','close'),('etag','"e8744-127-4bc871e4fdd80"'),('date','Mon,03Sep201210:01:47GMT'),('content-type','text/html')]

date=response.getheader('date');
print date

取出響應頭部的date的值。

******************************************************************************************************************************************************************************************************************************************************

所謂網頁抓取,就是把URL地址中指定的網路資源從網路流中讀取出來,保存到本地。
類似於使用程序模擬IE瀏覽器的功能,把URL作為HTTP請求的內容發送到伺服器端, 然後讀取伺服器端的響應資源。

在Python中,我們使用urllib2這個組件來抓取網頁。
urllib2是Python的一個獲取URLs(Uniform Resource Locators)的組件。

它以urlopen函數的形式提供了一個非常簡單的介面。

最簡單的urllib2的應用代碼只需要四行。

我們新建一個文件urllib2_test01.py來感受一下urllib2的作用:

import urllib2
response = urllib2.urlopen('http://www..com/')
html = response.read()
print html


按下F5可以看到運行的結果:

我們可以打開網路主頁,右擊,選擇查看源代碼(火狐OR谷歌瀏覽器均可),會發現也是完全一樣的內容。

也就是說,上面這四行代碼將我們訪問網路時瀏覽器收到的代碼們全部列印了出來。

這就是一個最簡單的urllib2的例子。

除了"http:",URL同樣可以使用"ftp:","file:"等等來替代。

HTTP是基於請求和應答機制的:

客戶端提出請求,服務端提供應答。

urllib2用一個Request對象來映射你提出的HTTP請求。

在它最簡單的使用形式中你將用你要請求的地址創建一個Request對象,

通過調用urlopen並傳入Request對象,將返回一個相關請求response對象,

這個應答對象如同一個文件對象,所以你可以在Response中調用.read()。

我們新建一個文件urllib2_test02.py來感受一下:

import urllib2
req = urllib2.Request('http://www..com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page

可以看到輸出的內容和test01是一樣的。

urllib2使用相同的介面處理所有的URL頭。例如你可以像下面那樣創建一個ftp請求。

req = urllib2.Request('ftp://example.com/')

在HTTP請求時,允許你做額外的兩件事。

1.發送data表單數據

這個內容相信做過Web端的都不會陌生,

有時候你希望發送一些數據到URL(通常URL與CGI[通用網關介面]腳本,或其他WEB應用程序掛接)。

在HTTP中,這個經常使用熟知的POST請求發送。

這個通常在你提交一個HTML表單時由你的瀏覽器來做。

並不是所有的POSTs都來源於表單,你能夠使用POST提交任意的數據到你自己的程序。

一般的HTML表單,data需要編碼成標准形式。然後做為data參數傳到Request對象。

編碼工作使用urllib的函數而非urllib2。

我們新建一個文件urllib2_test03.py來感受一下:

import urllib
import urllib2
url = 'http://www.someserver.com/register.cgi'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
data = urllib.urlencode(values) # 編碼工作
req = urllib2.Request(url, data) # 發送請求同時傳data表單
response = urllib2.urlopen(req) #接受反饋的信息
the_page = response.read() #讀取反饋的內容

如果沒有傳送data參數,urllib2使用GET方式的請求。

GET和POST請求的不同之處是POST請求通常有"副作用",

它們會由於某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。

Data同樣可以通過在Get請求的URL本身上面編碼來傳送。

import urllib2
import urllib
data = {}
data['name'] = 'WHY'
data['location'] = 'SDU'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
print url_values
name=Somebody+Here&language=Python&location=Northampton
url = 'http://www.example.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)

這樣就實現了Data數據的Get傳送。

2.設置Headers到http請求

有一些站點不喜歡被程序(非人為訪問)訪問,或者發送不同版本的內容到不同的瀏覽器。

默認的urllib2把自己作為「Python-urllib/x.y」(x和y是Python主版本和次版本號,例如Python-urllib/2.7),

這個身份可能會讓站點迷惑,或者乾脆不工作。

瀏覽器確認自己身份是通過User-Agent頭,當你創建了一個請求對象,你可以給他一個包含頭數據的字典。

下面的例子發送跟上面一樣的內容,但把自身模擬成Internet Explorer。

(多謝大家的提醒,現在這個Demo已經不可用了,不過原理還是那樣的)。

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

以上就是python利用urllib2通過指定的URL抓取網頁內容的全部內容,非常簡單吧,希望對大家能有所幫助

⑵ 手動測介面發送data,伺服器處理成功;用python3 模擬發送同樣的數據,伺服器報參數不是整型

通常都是模擬客戶端向伺服器發送請求,伺服器處理後返回請求結果,然後在檢查返回的結果是否符合預期,檢查返回的數據格式、欄位以及異常請求時伺服器是否返回異常等等,尤其涉及第三方介面時,需要考慮介面的安全性,是否可以隨意獲取等等。

⑶ 如何用 python 搭建一個郵件伺服器

有人說表示只學Python沒有用,必須學會一個框架(比如Django和web.py)才能找到工作。
其實掌握一個類似於框架的高級工具是有用的,但是基礎的東西可以讓你永遠不被淘汰,不要被工具限制了自己的發展。
今天不使用框架,也不使用Python標准庫中的高級包,只使用標准庫中的socket介面寫一個Python伺服器。
框架與底層
在當今Python伺服器框架 (framework, 比如Django, Twisted, web.py等等) 橫行的時代,從底層的socket開始寫伺服器似乎是一個出力不討好的笨方法。

框架的意義在於掩蓋底層的細節,提供一套對於開發人員更加友好的API,並處理諸如MVC的布局問題。
框架允許我們快速的構建一個成型而且成熟的Python伺服器。然而,框架本身也是依賴於底層(比如socket)。對於底層socket的了解,不僅可以幫助我們更好的使用框架,更可以讓我們明白框架是如何設計的。
更進一步,如果擁有良好的底層socket編程知識和其他系統編程知識,你完全可以設計並開發一款自己的框架。
如果你可以從底層socket開始,實現一個完整的Python伺服器,支持用戶層的協議,並處理好諸如MVC(Model-View-Control)、多線程(threading)等問題,並整理出一套清晰的函數或者類,作為介面(API)呈現給用戶,你就相當於設計了一個框架。
socket介面是實際上是操作系統提供的系統調用。
socket的使用並不局限於Python語言,你可以用C或者Java來寫出同樣的socket伺服器,而所有語言使用socket的方式都類似(Apache就是使用C實現的伺服器)。
但是你不能跨語言的使用框架。
框架的好處在於幫你處理了一些細節,從而實現快速開發,但同時受到Python本身性能的限制。
我們已經看到,許多成功的網站都是利用動態語言(比如Python, Ruby或者PHP,比如twitter和facebook)快速開發,在網站成功之後,將代碼轉換成諸如C和JAVA這樣一些效率比較高的語言,從而讓伺服器能更有效率的面對每天億萬次的請求。
在這種情況下,底層的重要性,就遠遠超過了框架。
TCP/IP和socket簡介
回到我們的任務。
我們需要對網路傳輸,特別是TCP/IP協議和socket有一定的了解。
socket是進程間通信的一種方法,它是基於網路傳輸協議的上層介面。
socket有許多種類型,比如基於TCP協議或者UDP協議(兩種網路傳輸協議),其中又以TCP socket最為常用。
TCP socket與雙向管道(plex PIPE)有些類似,一個進程向socket的一端寫入或讀取文本流,而另一個進程可以從socket的另一端讀取或寫入,比較特別是,這兩個建立socket通信的進程可以分別屬於兩台不同的計算機。
TCP協議,就是規定了一些通信的守則,以便在網路環境下能夠有效實現上述進程間通信過程。
雙向管道(plex PIPE)存活於同一台電腦中,所以不必區分兩個進程的所在計算機的地址,而socket必須包含有地址信息,以便實現網路通信。
一個socket包含四個地址信息: 兩台計算機的IP地址和兩個進程所使用的埠(port)。IP地址用於定位計算機,而port用於定位進程 (一台計算機上可以有多個進程分別使用不同的埠)。
TCP socket
在互聯網上,讓某台計算機作為伺服器。
伺服器開放自己的埠,被動等待其他計算機連接。
當其他計算機作為客戶,主動使用socket連接到伺服器的時候,伺服器就開始為客戶提供服務。
在Python中,我們使用標准庫中的socket包來進行底層的socket編程。
首先是伺服器端,我們使用bind()方法來賦予socket以固定的地址和埠,並使用listen()方法來被動的監聽該埠。
當有客戶嘗試用connect()方法連接的時候,伺服器使用accept()接受連接,從而建立一個連接的socket:

socket.socket()創建一個socket對象,並說明socket使用的是IPv4(AF_INET,IP version 4)和TCP協議(SOCK_STREAM)。
然後用另一台電腦作為客戶,我們主動使用connect()方法來搜索伺服器端的IP地址(在Linux中,你可以用$ifconfig來查詢自己的IP地址)和埠,以便客戶可以找到伺服器,並建立連接:

在上面的例子中,我們對socket的兩端都可以調用recv()方法來接收信息,調用sendall()方法來發送信息。
這樣,我們就可以在分處於兩台計算機的兩個進程間進行通信了。
當通信結束的時候,我們使用close()方法來關閉socket連接。
(如果沒有兩台計算機做實驗,也可以將客戶端IP想要connect的IP改為"127.0.0.1",這是個特殊的IP地址,用來連接當地主機。)
基於TCP socket的HTTP伺服器
上面的例子中,我們已經可以使用TCP socket來為兩台遠程計算機建立連接。
然而,socket傳輸自由度太高,從而帶來很多安全和兼容的問題。
我們往往利用一些應用層的協議(比如HTTP協議)來規定socket使用規則,以及所傳輸信息的格式。
HTTP協議利用請求-回應(request-response)的方式來使用TCP socket。
客戶端向伺服器發一段文本作為request,伺服器端在接收到request之後,向客戶端發送一段文本作為response。
在完成了這樣一次request-response交易之後,TCP socket被廢棄。
下次的request將建立新的socket。
request和response本質上說是兩個文本,只是HTTP協議對這兩個文本都有一定的格式要求。
Request <——> Response
現在,我們寫出一個HTTP伺服器端:

HTTP伺服器程序的解釋
如我們上面所看到的,伺服器會根據request向客戶傳輸的兩條信息text_content和pic_content中的一條,作為response文本。
整個response分為起始行(start line), 頭信息(head)和主體(body)三部分。起始行就是第一行:
它實際上又由空格分為三個片段,HTTP/1.x表示所使用的HTTP版本,200表示狀態(status code),200是HTTP協議規定的,表示伺服器正常接收並處理請求,OK是供人來閱讀的status code。
頭信息跟隨起始行,它和主體之間有一個空行。
這里的text_content或者pic_content都只有一行的頭信息,text_content用來表示主體信息的類型為html文本:
而pic_content的頭信息(Content-Type: image/jpg)說明主體的類型為jpg圖片(image/jpg)。
主體信息為html或者jpg文件的內容。
(注意,對於jpg文件,我們使用"rb"模式打開,是為了與windows兼容。因為在windows下,jpg被認為是二進制(binary)文件,在UNIX系統下,則不需要區分文本文件和二進制文件。)
我們並沒有寫客戶端程序,後面我們會用瀏覽器作為客戶端。
request由客戶端程序發給伺服器。
盡管request也可以像response那樣分為三部分,request的格式與response的格式並不相同。
request由客戶發送給伺服器,比如下面是一個request:
起始行可以分為三部分,第一部分為請求方法(request method),第二部分是URL,第三部分為HTTP版本。
request method可以有GET, PUT, POST, DELETE, HEAD。最常用的為GET和POST。
GET是請求伺服器發送資源給客戶,POST是請求伺服器接收客戶送來的數據。
當我們打開一個網頁時,我們通常是使用GET方法;當我們填寫表格並提交時,我們通常使用POST方法。
第二部分為URL,它通常指向一個資源(伺服器上的資源或者其它地方的資源)。像現在這樣,就是指向當前伺服器的當前目錄的test.jpg。
按照HTTP協議的規定,伺服器需要根據請求執行一定的操作。
正如我們在伺服器程序中看到的,我們的Python程序先檢查了request的方法,隨後根據URL的不同,來生成不同的response(text_content或者pic_content)。
隨後,這個response被發送回給客戶端。
使用瀏覽器實驗
為了配合上面的伺服器程序,我已經在放置Python程序的文件夾里,保存了一個test.jpg圖片文件。
我們在終端運行上面的Python程序,作為伺服器端,再打開一個瀏覽器作為客戶端。
(如果有時間,你也完全可以用Python寫一個客戶端。原理與上面的TCP socket的客戶端程序相類似。)
在瀏覽器的地址欄輸入:
(當然,你也可以用令一台電腦,並輸入伺服器的IP地址)
OK,我已經有了一個用Python實現的,並從socket寫起的伺服器了。
從終端,我們可以看到,瀏覽器實際上發出了兩個請求。
第一個請求為 (關鍵信息在起始行,這一個請求的主體為空):

我們的Python程序根據這個請求,發送給伺服器text_content的內容。
瀏覽器接收到text_content之後,發現正文的html文本中有<IMG src="text.jpg" />,知道需要獲得text.jpg文件來補充為圖片,立即發出了第二個請求:

我們的Python程序分析過起始行之後,發現/test.jpg符合if條件,所以將pic_content發送給客戶。
最後,瀏覽器根據html語言的語法,將html文本和圖畫以適當的方式顯示出來。
探索的方向
1) 在我們上面的伺服器程序中,我們用while循環來讓伺服器一直工作下去。
實際上,我們還可以根據多線程的知識,將while循環中的內容改為多進程或者多線程工作。
2) 我們的伺服器程序還不完善,我們還可以讓我們的Python程序調用Python的其他功能,以實現更復雜的功能。比如說製作一個時間伺服器,讓伺服器向客戶返回日期和時間。你還可以使用Python自帶的資料庫,來實現一個完整的LAMP伺服器。

3) socket包是比較底層的包。Python標准庫中還有高層的包,比如SocketServer,SimpleHTTPServer,CGIHTTPServer,cgi。這些都包都是在幫助我們更容易的使用socket。如果你已經了解了socket,那麼這些包就很容易明白了。利用這些高層的包,你可以寫一個相當成熟的伺服器。

4) 在經歷了所有的辛苦和麻煩之後,你可能發現,框架是那麼的方便,所以決定去使用框架。或者,你已經有了參與到框架開發的熱情。

⑷ python 爬蟲裡面什麼叫request

request對象是從客戶端向伺服器發出請求,包括用戶提交的信息以及客戶端的一些信息。客戶端可通過HTML表單或在網頁地址後面提供參數的方法提交
數據,然後通過request對象的相關方法來獲取這些數據。request的各種方法主要用來處理客戶端瀏覽器提交的請求中的各項參數和選項。
而python爬蟲中的request其實就是通過python向伺服器發出request請求,得到其返回的信息

⑸ python爬蟲怎麼處理豆瓣網頁異常請求

1.URLError

首先解釋下URLError可能產生的原因:

⑹ 如何用python分析從瀏覽器到伺服器的HTTP GET請求的內容。

用response = requests.get(url),對response.content的內容進行正則分析或者用bs4等模塊進行分析即可

⑺ 如何用python腳本過濾到達伺服器某個站點的HTTP請求

nginx+Django估計可以做到

⑻ 如何用C++或者python實現接收客戶端發送的post請求

一個http請求包括三個部分,分別為請求行,請求報頭(請求頭),消息主體(請求體),類似以下這樣:

{
「args」:{},
「data」:「」,
「files」:{
「file」:「Helloworld!」
},
「form」:{},
「headers」:{……
「Content-Type」:「multipart/form-data;boundary=」,
……
},
「json」:null,
……
}
---------------------
作者:weixin_40283480
來源:CSDN
原文:https://blog.csdn.net/weixin_40283480/article/details/79208413
版權聲明:本文為博主原創文章,轉載請附上博文鏈接!

⑼ python 伺服器請求文件

呃…麻煩重新描述下問題。要提取的是a.txt裡面的內容對么?你現在已經可以打開a.txt?每兩隊之間是換行符?

⑽ python向伺服器發送請求用什麼模塊

requests或者 urllib

閱讀全文

與python伺服器處理請求相關的資料

熱點內容
閩政通無法請求伺服器是什麼 瀏覽:48
怎麼做積木解壓神器 瀏覽:203
王者榮耀解壓玩具抽獎 瀏覽:49
12位是由啥加密的 瀏覽:868
程序員編迷你世界代碼 瀏覽:895
php取現在時間 瀏覽:246
單片機高吸收 瀏覽:427
怎麼區分五代頭是不是加密噴頭 瀏覽:244
hunt測試伺服器是什麼意思 瀏覽:510
2013程序員考試 瀏覽:641
畢業論文是pdf 瀏覽:736
伺服器跑網心雲劃算嗎 瀏覽:471
單片機定時器計數初值的計算公式 瀏覽:801
win7控制台命令 瀏覽:567
貓咪成年app怎麼升級 瀏覽:692
360有沒有加密軟體 瀏覽:315
清除cisco交換機配置命令 瀏覽:751
華為刪除交換機配置命令 瀏覽:473
shell打包命令 瀏覽:827
加密狗插上輸不了密碼 瀏覽:187