pythonxmlrpc多線程

A. 從 0 到 1：全面理解 RPC 遠程調用

作者 | python編程時光

責編 | 胡巍巍

什麼是RPC呢？網路給出的解釋是這樣的：「RPC（Remote Procere Call Protocol）——遠程過程調用協議，它是一種通過網路從遠程計算機程序上請求服務，而不需要了解底層網路技術的協議」。

這個概念聽起來還是比較抽象，沒關系，繼續往後看，後面概念性的東西，我會講得足夠清楚，讓你完全掌握 RPC 的基礎內容。

在 OpenStack 里的進程間通信方式主要有兩種，一種是基於HTTP協議的RESTFul API方式，另一種則是RPC調用。

那麼這兩種方式在應用場景上有何區別呢？

有使用經驗的人，就會知道：

首先，給你提兩個問題，帶著這兩個問題再往下看：

1、RPC 和 REST 區別是什麼？2、為什麼要採用RPC呢？

首先，第一個問題：RPC 和 REST 區別是什麼？

你一定會覺得這個問題很奇怪，是的，包括我，但是你在網路上一搜，會發現類似對比的文章比比皆是，我在想可能很多初學者由於基礎不牢固，才會將不相乾的二者拿出來對比吧。既然是這樣，那為了讓你更加了解陌生的RPC，就從你熟悉得不能再熟悉的 REST 入手吧。

01、所屬類別不同

REST，是Representational State Transfer 的簡寫，中文描述表述性狀態傳遞（是指某個瞬間狀態的資源數據的快照，包括資源數據的內容、表述格式(XML、JSON)等信息。）

REST 是一種軟體架構風格。這種風格的典型應用，就是HTTP。其因為簡單、擴展性強的特點而廣受開發者的青睞。

而RPC 呢，是 Remote Procere Call Protocol 的簡寫，中文描述是遠程過程調用，它可以實現客戶端像調用本地服務(方法)一樣調用伺服器的服務(方法)。

而 RPC 可以基於 TCP/UDP，也可以基於 HTTP 協議進行傳輸的，按理說它和REST不是一個層面意義上的東西，不應該放在一起討論，但是誰讓REST這么流行呢，它是目前最流行的一套互聯網應用程序的API設計標准，某種意義下，我們說 REST 可以其實就是指代 HTTP 協議。

02、使用方式不同

03、面向對象不同

從設計上來看，RPC，所謂的遠程過程調用 ，是面向方法的 ，REST：所謂的 Representational state transfer ，是面向資源的，除此之外，還有一種叫做 SOA，所謂的面向服務的架構，它是面向消息的，這個接觸不多，就不多說了。

04、序列化協議不同

介面調用通常包含兩個部分，序列化和通信協議。

通信協議，上面已經提及了，REST 是 基於 HTTP 協議，而 RPC 可以基於 TCP/UDP，也可以基於 HTTP 協議進行傳輸的。

常見的序列化協議，有：json、xml、hession、protobuf、thrift、text、bytes等，REST 通常使用的是 JSON或者XML，而 RPC 使用的是 JSON-RPC，或者 XML-RPC。

通過以上幾點，我們知道了 REST 和 RPC 之間有很明顯的差異。

然後第二個問題：為什麼要採用RPC呢？

那到底為何要使用 RPC，單純的依靠RESTful API不可以嗎？為什麼要搞這么多復雜的協議，渣渣表示真的學不過來了。

關於這一點，以下幾點僅是我的個人猜想，僅供交流哈：

說了這么多，我們該如何選擇這兩者呢？我總結了如下兩點，供你參考：

「遠程調用」意思就是：被調用方法的具體實現不在程序運行本地，而是在別的某個地方（分布到各個伺服器），調用者只想要函數運算的結果，卻不需要實現函數的具體細節。

光說不練嘴把式，接下來，我將分別用三種不同的方式全面地讓你搞明白 rpc 遠程調用是如何實現的。

01、基於 xml-rpc

Python實現 rpc，可以使用標准庫里的 SimpleXMLRPCServer，它是基於XML-RPC 協議的。

有了這個模塊，開啟一個 rpc server，就變得相當簡單了。執行以下代碼：

有了 rpc server，接下來就是 rpc client，由於我們上面使用的是 XML-RPC，所以 rpc clinet 需要使用xmlrpclib 這個庫。

然後，我們通過 server_proxy 對象就可以遠程調用之前的rpc server的函數了。

SimpleXMLRPCServer是一個單線程的伺服器。這意味著，如果幾個客戶端同時發出多個請求，其它的請求就必須等待第一個請求完成以後才能繼續。

若非要使用 SimpleXMLRPCServer 實現多線程並發，其實也不難。只要將代碼改成如下即可。

02、基於json-rpc

SimpleXMLRPCServer 是基於 xml-rpc 實現的遠程調用，上面我們也提到 除了 xml-rpc 之外，還有 json-rpc 協議。

那 python 如何實現基於 json-rpc 協議呢？

答案是很多，很多web框架其自身都自己實現了json-rpc，但我們要獨立這些框架之外，要尋求一種較為干凈的解決方案，我查找到的選擇有兩種

第一種是 jsonrpclib

第二種是 python-jsonrpc

先來看第一種 jsonrpclib

它與 Python 標准庫的 SimpleXMLRPCServer 很類似（因為它的類名就叫做 SimpleJSONRPCServer ，不明真相的人真以為它們是親兄弟）。或許可以說，jsonrpclib 就是仿照 SimpleXMLRPCServer 標准庫來進行編寫的。

它的導入與 SimpleXMLRPCServer 略有不同，因為SimpleJSONRPCServer分布在jsonrpclib庫中。

服務端

客戶端

再來看第二種python-jsonrpc，寫起來貌似有些復雜。

服務端

客戶端

調用過程如下

還記得上面我提到過的 zabbix API，因為我有接觸過，所以也拎出來講講。zabbix API 也是基於 json-rpc 2.0協議實現的。

因為內容較多，這里只帶大家打個，zabbix 是如何調用的：直接指明要調用 zabbix server 的哪個方法，要傳給這個方法的參數有哪些。

03、基於 zerorpc

以上介紹的兩種rpc遠程調用方式，如果你足夠細心，可以發現他們都是http+rpc 兩種協議結合實現的。

接下來，我們要介紹的這種（zerorpc），就不再使用走 http 了。

zerorpc 這個第三方庫，它是基於TCP協議、 ZeroMQ 和 MessagePack的，速度相對快，響應時間短，並發高。zerorpc 和 pyjsonrpc 一樣，需要額外安裝，雖然SimpleXMLRPCServer不需要額外安裝，但是SimpleXMLRPCServer性能相對差一些。

調用過程如下

客戶端除了可以使用zerorpc框架實現代碼調用之外，它還支持使用「命令行」的方式調用。

客戶端可以使用命令行，那服務端是不是也可以呢？

是的，通過 Github 上的文檔幾個 demo 可以體驗到這個第三方庫做真的是優秀。

比如我們可以用下面這個命令，創建一個rpc server，後面這個 time Python 標准庫中的 time 模塊，zerorpc 會將 time 注冊綁定以供client調用。

經過了上面的學習，我們已經學會了如何使用多種方式實現rpc遠程調用。

通過對比，zerorpc 可以說是脫穎而出，一支獨秀。

為此，我也做了一番思考：

OpenStack 組件繁多，在一個較大的集群內部每個組件內部通過rpc通信頻繁，如果都採用rpc直連調用的方式，連接數會非常地多，開銷大，若有些 server 是單線程的模式，超時會非常的嚴重。

OpenStack 是復雜的分布式集群架構，會有多個 rpc server 同時工作，假設有 server01，server02，server03 三個server，當 rpc client 要發出rpc請求時，發給哪個好呢？這是問題一。

你可能會說輪循或者隨機，這樣對大家都公平。這樣的話還會引出另一個問題，倘若請求剛好發到server01，而server01剛好不湊巧，可能由於機器或者其他因為導致服務沒在工作，那這個rpc消息可就直接失敗了呀。要知道做為一個集群，高可用是基本要求，如果出現剛剛那樣的情況其實是很尷尬的。這是問題二。

集群有可能根據實際需要擴充節點數量，如果使用直接調用，耦合度太高，不利於部署和生產。這是問題三。

引入消息中間件，可以很好的解決這些問題。

解決問題一：消息只有一份，接收者由AMQP的負載演算法決定，默認為在所有Receiver中均勻發送(round robin)。

解決問題二：有了消息中間件做緩沖站，client 可以任性隨意的發，server 都掛掉了？沒有關系，等 server 正常工作後，自己來消息中間件取就行了。

解決問題三：無論有多少節點，它們只要認識消息中間件這一個中介就足夠了。

既然講到了消息隊列，如果你之前沒有接觸過這塊內容，最好花幾分鍾的時間跟我好好過下關於消息隊列的幾個基礎概念。

首先，RPC只是定義了一個通信介面，其底層的實現可以各不相同，可以是 socket，也可以是今天要講的 AMQP。

AMQP(Advanced Message Queuing Protocol)是一種基於隊列的可靠消息服務協議，作為一種通信協議，AMQP同樣存在多個實現，如Apache Qpid，RabbitMQ等。

以下是 AMQP 中的幾個必知的概念：

Publisher：消息發布者

Queue：用來保存消息的存儲空間，消息沒有被receiver前，保存在隊列中。

Exchange：用來接收Publisher發出的消息，根據Routing key 轉發消息到對應的Message Queue中，至於轉到哪個隊列里，這個路由演算法又由exchange type決定的。

Exchange type：主要四種描述exchange的類型。

direct：消息路由到滿足此條件的隊列中(queue,可以有多個)：routing key = binding key

topic：消息路由到滿足此條件的隊列中(queue,可以有多個)：routing key 匹配 binding pattern. binding pattern是類似正則表達式的字元串，可以滿足復雜的路由條件。

fanout：消息路由到多有綁定到該exchange的隊列中。

binding ：binding是用來描述exchange和queue之間的關系的概念，一個exchang可以綁定多個隊列，這些關系由binding建立。前面說的binding key /binding pattern也是在binding中給出。

為了讓你明白這幾者的關系，我畫了一張模型圖。

關於AMQP，有幾下幾點值得注意：

前面鋪墊了那麼久，終於到了講真實應用的場景。在生產中RPC是如何應用的呢？

其他模型我不太清楚，在 OpenStack 中的應用模型是這樣的

至於為什麼要如此設計，前面我已經給出了自己的觀點。

接下來，就是源碼解讀 OpenStack ，看看其是如何通過rpc進行遠程調用的。如若你對此沒有興趣（我知道很多人對此都沒有興趣，所以不浪費大家時間），可以直接跳過這一節，進入下一節。

目前Openstack中有兩種RPC實現，一種是在oslo messaging,一種是在openstack.common.rpc。

openstack.common.rpc是舊的實現，oslo messaging是對openstack.common.rpc的重構。openstack.common.rpc在每個項目中都存在一份拷貝，oslo messaging即將這些公共代碼抽取出來，形成一個新的項目。oslo messaging也對RPC API 進行了重新設計，對多種 transport 做了進一步封裝，底層也是用到了kombu這個AMQP庫。（註：Kombu 是Python中的messaging庫。Kombu旨在通過為AMQ協議提供慣用的高級介面，使Python中的消息傳遞盡可能簡單，並為常見的消息傳遞問題提供經過驗證和測試的解決方案。）

關於oslo_messaging庫，主要提供了兩種獨立的API:

因為 notify 實現是太簡單了，所以這里我就不多說了，如果有人想要看這方面內容，可以收藏我的博客(http://python-online.cn) ，我會更新補充 notify 的內容。

OpenStack RPC 模塊提供了 rpc.call，rpc.cast, rpc.fanout_cast 三種 RPC 調用方法，發送和接收 RPC 請求。

rpc.call 和 .rpc.cast 從實現代碼上看，他們的區別很小，就是call調用時候會帶有wait_for_reply=True參數，而cast不帶。

要了解 rpc 的調用機制呢，首先要知道 oslo_messaging 的幾個概念主要方法有四個：

transport：RPC功能的底層實現方法，這里是rabbitmq的消息隊列的訪問路徑

transport 就是定義你如何訪連接消息中間件，比如你使用的是 Rabbitmq，那在 nova.conf中應該有一行transport_url的配置，可以很清楚地看出指定了 rabbitmq 為消息中間件，並配置了連接rabbitmq的user，passwd，主機，埠。

target用來表述 RPC 伺服器監聽topic，server名稱和server監聽的exchange，是否廣播fanout。

rpc server 要獲取消息，需要定義target，就像一個門牌號一樣。

rpc client 要發送消息，也需要有target，說明消息要發到哪去。

endpoints：是可供別人遠程調用的對象

RPC伺服器暴露出endpoint，每個 endpoint 包涵一系列的可被遠程客戶端通過 transport 調用的方法。直觀理解，可以參考nova-conctor創建rpc server的代碼，這邊的endpoints就是 nova/manager.py:ConctorManager

dispatcher：分發器，這是 rpc server 才有的概念

只有通過它 server 端才知道接收到的rpc請求，要交給誰處理，怎麼處理？

在client端，是這樣指定要調用哪個方法的。

而在server端，是如何知道要執行這個方法的呢？這就是dispatcher 要乾的事，它從 endpoint 里找到這個方法，然後執行，最後返回。

Serializer：在 python 對象和message(notification) 之間數據做序列化或是反序列化的基類。

主要方法有四個：

每個notification listener都和一個executor綁定，來控制收到的notification如何分配。默認情況下，使用的是blocking executor(具體特性參加executor一節）

模仿是一種很高效的學習方法，我這里根據 OpenStack 的調用方式，抽取出核心內容，寫成一個簡單的 demo，有對 OpenStack 感興趣的可以了解一下，大部分人也可以直接跳過這章節。

注意以下代碼不能直接運行，你還需要配置 rabbitmq 的連接方式，你可以寫在配置文件中，通過 get_transport 從cfg.CONF 中讀取，也可以直接將其寫成url的格式做成參數，傳給 get_transport 。而且還要nova或者其他openstack組件的環境中運行（因為需要有ctxt這個環境變數）

簡單的 rpc client

簡單的 rpc server

【End】

熱 文 推 薦

☞Facebook 發幣 Libra；谷歌十億美金為窮人造房；第四代樹莓派 Raspberry Pi 4 發布 | 開發者周刊

☞WebRTC 將一統實時音視頻天下？

☞小米崔寶秋：小米 AIoT 深度擁抱開源

☞華為在美研發機構 Futurewei 意欲分家？

☞老司機教你如何寫出沒人敢維護的代碼！

☞Python有哪些技術上的優點？比其他語言好在哪兒？

☞上不了北大「圖靈」、清華「姚班」，AI專業還能去哪上？

☞公鏈史記 | 從鴻蒙初辟到萬物生長的十年激盪……

☞邊緣計算容器化是否有必要？

☞馬雲曾經偶像，終於把阿里留下的1400億敗光了！

你點的每個「在看」，我都認真當成了喜歡

B. Python網路編程基礎的介紹

《Python網路編程基礎》是電子工業出版社2007年出版的圖書，由高森編著。本書全面介紹了使用Python語言進行網路編程的基礎知識，主要內容包括網路基礎知識、高級網路操作、Web Services、解析HTML和XHTML、XML、E-mail服務、FTP、使用Python操作資料庫、SSL、幾種伺服器端框架（包括Socket伺服器、SimpleXMLRPCServer、CGI和mod_python），以及多任務處理（包括Forking、線程和非同步通信）等。

C. 如何同步一個python字典有多重

介紹

似乎有很多的扶手椅建議和沒有工作的例子。沒有列在下面，甚至多重的答案，這是頗有幾分失望和不安。由於python愛好者，我們應該支持我們的內置庫，並同時並行處理和同步從來都不是小事，我相信它可以製成瑣碎與適當的設計。這是很重要的現代多核架構，並且不能夠underline！話雖如此

CodeGo.net，我遠遠滿足多處理庫，它仍然是處於起步階段的階段與不少缺陷，錯誤，並正在面向函數式編程（我討厭）。目前我還是比較喜歡火焰兵模塊（這是遙遙領先其對多重的因無法在伺服器運行時共享新創建的對象多處理的嚴重限制。「注冊」的管理對象只能實際注冊一個對象之前管理（或伺服器）開始數落夠了，更多的代碼：
Server.py
from multiprocessing.managers import SyncManager

class MyManager(SyncManager):
pass

syncdict = {}
def get_dict():
return syncdict
if __name__ == "__main__":
MyManager.register("syncdict", get_dict)
manager = MyManager(("127.0.0.1", 5000), authkey="password")
manager.start()
raw_input("Press any key to kill server".center(50, "-"))
manager.shutdown()

多重的SyncManager，可以提供同步共享對象的Server.py在上面的代碼示例。此代碼將不能工作在解釋多處理庫是如何找到「可贖回」為每個注冊的對象相當棘手的運行。運行Server.py將啟動一個定製SyncManager共享多個進程的syncdict字典，並且可以連接到客戶端機或者機器上，或者，如果運行在比回環，其他機器的其他的IP地址。在這種情況下，伺服器運行在環回（127.0.0.1）埠5000。操作syncdict當使用authkey使用安全連接。當任何一個鍵被按下的管理是關機。
Client.py
from multiprocessing.managers import SyncManager
import sys, time
class MyManager(SyncManager):
pass
MyManager.register("syncdict")
if __name__ == "__main__":
manager = MyManager(("127.0.0.1", 5000), authkey="password")
manager.connect()
syncdict = manager.syncdict()
print "dict = %s" % (dir(syncdict))
key = raw_input("Enter key to update: ")
inc = float(raw_input("Enter increment: "))
sleep = float(raw_input("Enter sleep time (sec): "))
try:
#if the key doesn't exist create it
if not syncdict.has_key(key):
syncdict.update([(key, 0)])
#increment key value every sleep seconds
#then print syncdict
while True:
syncdict.update([(key, syncdict.get(key) + inc)])
time.sleep(sleep)
print "%s" % (syncdict)
except KeyboardInterrupt:
print "Killed client"

客戶端端還必須創建一個自定義的SyncManager，注冊「syncdict」，這個沒有傳入一個可調用來檢索共享字典。它定製到5000埠的環回IP地址（127.0.0.1）和authkey建立與管理的安全連接開始Server.py。它通過調用注冊的調用上的管理器檢索共享字典syncdict。它提示如下：
在syncdict的關鍵，操作上
該款項由鍵訪問時的值每個周期
在幾秒鍾內每個周期sleep的金額
然後，客戶端端會檢查看是否存在的關鍵。如果它不它創建的syncdict關鍵。然後，客戶端端進入一個「沒完沒了」循環，它會更新密鑰的值由指定的金額sleep，並列印syncdict只是直到KeyboardInterrupt發生（CTRL
+C）重復此過程。
惱人的問題
該管理器啟動，否則你會得到異常，即使在管理器中的目錄調用就會發現，它確實是有被注冊前管理人必須被調用。
該詞典的所有的操作一定要做的，不是字典（syncdict [「爆破」]=2就會失敗的路多處理器共享自定義對象）
使用SyncManager的將減輕惱人的問題＃2，除了惱人的問題＃1防止由SyncManager.dict（）被注冊和共享返回的代理。
（SyncManager.dict（）只能被稱為後的管理器啟動，並注冊只會工作的管理開始之前這樣SyncManager.dict（）是做函數式編程和通過代理進程作為一個像文檔的例子做的時候）
在伺服器和客戶端端必須注冊，即使直覺它會看起來像客戶端端將只能夠連接到管理後，看著辦吧（請添加到您的願望清單多處理開發人員）
閉幕

我希望你喜歡這個相當徹底，稍有回答，就像我有。我有一個很大的trouble直在我的腦海，為什麼我掙扎了這么多的多處理模塊，其中火焰兵是一件輕而易舉的，現在多虧了這個答案我已經擊中了要害。我希望這給如何提高多處理器模塊，因為我相信它有一個很大的承諾，但處於起步階段達不到什麼是可能的。盡管描述的惱人的問題，我認為這仍然是一個相當可行的替代方案，是非常簡單的。你可以SyncManager.dict（），並把它傳遞給進程作為該文檔顯示方式，它很可能是一個更簡單的解決方案，根據您的它只是感覺不自然
2.
有沒有字典需要被擺在首位共享的理由嗎？你可以有每一個線程維護自己的字典，並在線程處理或個別線程字典在一起的回撥副本年底實例？
我不知道到底你在做什麼，所以請我的，我的書面計劃可能無法正常工作一字不差。什麼我的建議是更多的是一種高層次的設計理念。
3.
我將致力於一個單獨的進程，以維護「共享字典」：例如： xmlrpclib使代碼提供給其他進程少量，通過xmlrpclib如暴露一個函數，該函數key, increment執行和一個剛服用的key和返回值，用語義細節（是否有丟失的鑰匙，等，等一個默認值），這取決於你的應用程序的需求。
那麼你任何你喜歡的共享專用字典過程方法：從一個簡單的字典一個單線程的伺服器一直到一個簡單的sqlite的資料庫，等等，等等，我建議你開始與代碼「就這么簡單，你可以得到破除「（取決於你是否需要一個永久共享字典，或持久性是沒有必要給你），和，如果需要優化。
4.
響應於適當的溶液中，以並行寫入的問題。我做了非常快速的研究，發現這篇文章是在暗示一個鎖定/信號的解決方案。 （
雖然這個例子是不是特異性的一本字典，我敢肯定，你可以編寫一個基於類的包裝對象，以幫助您基於這種想法詞典的工作。
如果我有一個喜歡這個以線程安全的方式，我倒是Python的信號量解決方案。 （假設我的技術是行不通的。）我相信，信號量普遍放緩，由於其性質阻塞線程的效率。
從網站：
信號量是一個比較先進的信號量有一個內部的計數器，而不是一個鎖標志，並且它只有塊如果超過線程給定數量的試圖保持信號量。根據如何在信號量被初始化，這允許多個線程訪問代碼段

semaphore = threading.BoundedSemaphore()
semaphore.acquire() # decrements the counter
... access the shared resource; work with dictionary, add item or whatever.
semaphore.release() # increments the counter

D. Python網路編程基礎的作品目錄

關於作者
關於技術審校
致謝
簡介
第1部分 底層網路
第1章 客戶/伺服器網路介紹
第2章 網路客戶端
第3章 網路伺服器
第4章 域名系統
第5章 域名系統
第2部分 Web Service
第6章 Web客戶端訪問
第7章 解析HTML和XHTML
第8章 XML和XML-RPC
第3部分 E-mail服務
第9章 E-mail的編寫和編碼
第10章 簡單郵件傳輸協議（SMTP）
第11章 POP
第12章 IMAP
第4部分 多用途的客戶端協議
第13章 FTP
第14章 資料庫客戶端
第15章 SSL
第5部分 伺服器端框架
第16章 SocketSever
第17章 SimpleXMLRPCServer
第18章 CGI
第19章 Mod_python
第6部分 多任務處理
第20章 forking
第21章 線程
第22章 非同步通信
索引