Ⅰ python 非同步任務隊列Celery 使用
在 Python 中定義 Celery 的時候，我們要引入 Broker，中文翻譯過來就是「中間人」的意思。在工頭(生產者)提出任務的時候，把所有的任務放到 Broker 裡面，在 Broker 的另外一頭，一群碼農(消費者)等著取出一個個任務准備著手做。這種模式註定了整個系統會是個開環系統，工頭對於碼農們把任務做的怎樣是不知情的。所以我們要引入 Backend 來保存每次任務的結果。這個 Backend 也是存儲任務的信息用的，只不過這里存的是那些任務的返回結果。我們可以選擇只讓錯誤執行的任務返回結果到 Backend，這樣我們取回結果，便可以知道有多少任務執行失敗了。
其實現架構如下圖所示：
可以看到，Celery 主要包含以下幾個模塊：
celery可以通過pip自動安裝。
broker 可選擇使用RabbitMQ/redis，backend可選擇使用RabbitMQ/redis/MongoDB。RabbitMQ/redis/mongoDB的安裝請參考對應的官方文檔。
------------------------------rabbitmq相關----------------------------------------------------------
官網安裝方法： http://www.rabbitmq.com/install-windows.html
啟動管理插件：sbin/rabbitmq-plugins enable rabbitmq_management 啟動rabbitmq：sbin/rabbitmq-server -detached
rabbitmq已經啟動，可以打開頁面來看看 地址： http://localhost:15672/#/
用戶名密碼都是guest 。進入可以看到具體頁面。 關於rabbitmq的配置，網上很多 自己去搜以下就ok了。
------------------------------rabbitmq相關--------------------------------------------------------
項目結構如下：
使用前，需要三個方面：celery配置，celery實例，需執行的任務函數，如下：
Celery 的配置比較多，可以在 官方配置文檔： http://docs.celeryproject.org/en/latest/userguide/configuration.html 查詢每個配置項的含義。
當然，要保證上述非同步任務and下述定時任務都能正常執行，就需要先啟動celery worker，啟動命令行如下:
需 啟動beat ，執行定時任務時, Celery會通過celery beat進程來完成。Celery beat會保持運行, 一旦到了某一定時任務需要執行時, Celery beat便將其加入到queue中. 不像worker進程, Celery beat只需要一個即可。而且為了避免有重復的任務被發送出去，所以Celery beat僅能有一個。
命令行啟動：
如果你想將celery worker/beat要放到後台運行，推薦可以扔給supervisor。
supervisor.conf如下：
Ⅱ Python數據結構-隊列與廣度優先搜索（Queue）
隊列（Queue） ：簡稱為隊，一種線性表數據結構，是一種只允許在表的一端進行插入操作，而在表的另一端進行刪除操作的線性表。
我們把隊列中允許插入的一端稱為 「隊尾（rear）」 ；把允許刪除的另一端稱為 「隊頭（front）」 。當表中沒有任何數據元素時，稱之為 「空隊」 。
廣度優先搜索演算法（Breadth First Search） ：簡稱為 BFS，又譯作寬度優先搜索 / 橫向優先搜索。是一種用於遍歷或搜索樹或圖的演算法。該演算法從根節點開始，沿著樹的寬度遍歷樹或圖的節點。如果所有節點均被訪問，則演算法中止。
廣度優先遍歷 類似於樹的層次遍歷過程 。呈現出一層一層向外擴張的特點。先看到的節點先訪問，後看到的節點後訪問。遍歷到的節點順序符合「先進先出」的特點，所以廣度優先搜索可以通過「隊列」來實現。
力扣933
游戲時，隊首始終是持有土豆的人
模擬游戲開始，隊首的人出隊，之後再到隊尾（類似於循環隊列）
傳遞了num次之後，將隊首的人移除
如此反復，直到隊列中剩餘一人
多人共用一台列印機，採取「先到先服務」的隊列策略來執行列印任務
需要解決的問題：1 列印系統的容量是多少？2 在能夠接受的等待時間內，系統可容納多少用戶以多高的頻率提交列印任務？
輸入：abba
輸出：False
思路：1 先將需要判定的詞從隊尾加入 deque; 2從兩端同時移除字元並判斷是否相同，直到deque中剩餘0個（偶數）或1個字元（奇數）
內容參考： https://algo.itcharge.cn/04.%E9%98%9F%E5%88%97/01.%E9%98%9F%E5%88%97%E5%9F%BA%E7%A1%80%E7%9F%A5%E8%AF%86/01.%E9%98%9F%E5%88%97%E5%9F%BA%E7%A1%80%E7%9F%A5%E8%AF%86/
Ⅲ python實現堆棧與隊列的方法
python實現堆棧與隊列的方法
本文實例講述了python實現堆棧與隊列的方法。分享給大家供大家參考。具體分析如下：
1、python實現堆棧，可先將Stack類寫入文件stack.py，在其它程序文件中使用from stack import Stack，然後就可以使用堆棧了。
stack.py的程序:
代碼如下:class Stack():
def __init__(self,size):
self.size=size;
self.stack=[];
self.top=-1;
def push(self,ele): #入棧之前檢查棧是否已滿
if self.isfull():
raise exception("out of range");
else:
self.stack.append(ele);
self.top=self.top+1;
def pop(self): # 出棧之前檢查棧是否為空
if self.isempty():
raise exception("stack is empty");
else:
self.top=self.top-1;
return self.stack.pop();
def isfull(self):
return self.top+1==self.size;
def isempty(self):
return self.top==-1;
再寫一個程序文件，stacktest.py,使用棧，內容如下:
代碼如下:#!/usr/bin/python
from stack import Stack
s=Stack(20);
for i in range(3):
s.push(i);
s.pop()
print s.isempty();
2、python 實現隊列:
復制代碼代碼如下:class Queue():
def __init__(self,size):
self.size=size;
self.front=-1;
self.rear=-1;
self.queue=[];
def enqueue(self,ele): #入隊操作
if self.isfull():
raise exception("queue is full");
else:
self.queue.append(ele);
self.rear=self.rear+1;
def dequeue(self): #出隊操作
if self.isempty():
raise exception("queue is empty");
else:
self.front=self.front+1;
return self.queue[self.front];
def isfull(self):
return self.rear-self.front+1==self.size;
def isempty(self):
return self.front==self.rear;
q=Queue(10);
for i in range(3):
q.enqueue(i);
print q.dequeue();
print q.isempty();
希望本文所述對大家的Python程序設計有所幫助。
Ⅳ python 把列表當作隊列使用方法
5.1.2. 把列表當作隊列使用
你也可以把列表當作隊列使用，隊列作為特定的數據結構，最先進入的元素最先釋放（先進先出）。不過，列表這樣用效率不高。相對來說從列表末尾添加和彈出很快；在頭部插入和彈出很慢（因為，為了一個元素，要移動整個列表中的所有元素）。
要實現隊列，使用 collections.deque，它為在首尾兩端快速插入和刪除而設計。例如:
>>> from collections import deque
>>> queue = deque(["Eric", "John", "Michael"])
>>> queue.append("Terry") # Terry arrives
>>> queue.append("Graham") # Graham arrives
>>> queue.popleft() # The first to arrive now leaves
'Eric'
>>> queue.popleft() # The second to arrive now leaves
'John'
>>> queue # Remaining queue in order of arrival
deque(['Michael', 'Terry', 'Graham'])
Ⅳ Python 隊列queue與多線程組合（生產者+消費者模式）
在線程世界⾥，⽣產者就是⽣產數據的線程，消費者就是消費數據的線程。在多線程開發當中，如果⽣產者處理速度很快，⽽消費者處理速度很慢，那麼⽣產者就必須等待消費者處理完，才能繼續⽣產數據。同樣的道理，如果消費者的處理能⼒⼤於⽣產者，那麼消費者就必須等待⽣產者。為了解決這個問題於是引⼊了⽣產者和消費者模式。
⽣產者消費者模式是通過⼀個容器來解決⽣產者和消費者的強耦合問題。⽣產者和消費者彼此之間不直接通訊，⽽通過阻塞隊列來進⾏通訊，所以⽣產者⽣產完數據之後不⽤等待消費者處理，直接扔給阻塞隊列，消費者不找⽣產者要數據，⽽是唯租直接從阻塞隊列⾥取，阻塞隊列就相當於⼀個緩沖區，平衡了⽣產者和消費者的處理能⼒。
比如，對於同時爬取多個網頁的多線程爬蟲，在某一時刻你可能無法保證他們在處理不同的網站，在某些時刻他們極有可能在處理相同的網站，這豈不浪費？為了解決這個問題，可以將不同網頁的url放在queue中，然後多個線程來讀取queue中的url進行解析處理，而queue只允許一次出一個，出一個少一個。相同網站上不同網頁的url通常有某種規律，比如某個欄位的數字加1，這種情況完全可以用這種模式，「生產者程序」負責根據規律把完整的url製作出來，再塞進queue裡面（如果queue滿了，則等待）；「消費者程序（網頁解析程序）」從queue的後面答團挨個取出url進行解析（如果queue裡面是空的，則等待），即使是多線程也能保證每個線程得到的是不同的url。這個過程中，生產者和消費彼此互不幹涉。
下面以實例說明如何將queue與多線程相結合形成所謂的「 生產者+消費者 」模式，同時解決 多線程如何退出 的問題（注意下例中是「一個生產者+多個消費者」的形式，多生產者+多消費者的模式可在此基礎上進一步實現）：
上述程序的過程如下圖：
注意 ：
（1）上述程序中生產者插入queue的時間間隔為0.1s，而消費者的取出時間間隔為2s，顯然消費速度不如生產速度，一開始queue是空的，一段時間後queue就變滿了，輸出結果正說明了這一點。如果將兩個時間調換，則結果相反，queue永遠不會滿，甚至只有1個值，因為只要進去就被消費了。
（2）消費者程序是通過「while」來推動不斷執行的，何時結束？上例中通過在queue中增加None的形式告訴消費者，生產者已經結束了，消費者也可以結束了。但消費者有多個，到底由哪個消費者得到None？為解決這個問題，上例中在消費者中先判斷當前取出的是不是None，如果是，則先在queue里插入一個None，然後再break當前這個消費者線程，最後的結果是所有的消費者線程都退出了，但queue中還剩下None沒有被取出。因此在程序的後面增加了一個for循環來挨個把queue中的元素取出，否則最後的q.join()將永遠阻塞，程序無法往下執行。
（3）程序中每一個q.get()後面都跟有一個q.task_done()，其作用指舉兆是從queue中取出一個元素就給q.join()發送一個信息，否則q.join()將永遠處於阻塞狀態，直到所有queue元素都被取出。
多線程「生產者-消費者」模式一般性結構圖
Ⅵ Python Queue 入門
Queue 叫隊列，是數據結構中的一種，基本上所有成熟的編程語言都內置了對 Queue 的支持。
Python 中的 Queue 模塊實現了多生產者和多消費者模型，當需要在多線程編程中非常實用。而且該模塊中的 Queue 類實現了鎖原語，不需要再考慮多線程安全問題。
該模塊內置了三種類型的 Queue，分別是 class queue.Queue(maxsize=0) ， class queue.LifoQueue(maxsize=0) 和 class queue.PriorityQueue(maxsize=0) 。它們三個的區別僅僅是取出時的順序不一致而已。
Queue 是一個 FIFO 隊列，任務按照添加的順序被取出。
LifoQueue 是一個 LIFO 隊列，類雀指似堆棧，後添加的任務先被取出。
PriorityQueue 是一個優先順序隊列，隊列裡面的肆歲友任務按照優先順序排序，優先順序高的先被取出。
如你所見，就是上面所說的三種不同類型的內置隊列，其中 maxsize 是個整數，用於設置可以放入隊列中的任務數的上限。當達到這個大小的時候，插入操作將阻塞至隊列中的任務被消費掉。如果 maxsize 小於等於零，則隊列尺寸為無限大。
向隊列中添加任務，直接調用 put() 函數即可
put() 函數完整的函數簽名如下 Queue.put(item, block=True, timeout=None) ，如你所見，該函數有兩個可選參數。
默認情況下，在隊列滿時，該函數會一直阻塞，直到隊列中有空餘的位置可以添加任務為止。如果 timeout 是正數，則最多阻塞 timeout 秒，如果這段時間內還沒有空餘的位置出來，則會引發 Full 異常。
當 block 為 false 時，timeout 參數將失效。同時如果隊列中沒有空餘的位置可添加任務則會引發 Full 異常，否則會直接把任務放入隊列並返回，不會阻塞。
另外，還可以通過 Queue.put_nowait(item) 來添加任務，相當於 Queue.put(item, False) ，不再贅述。同樣，在隊列滿時，該操作會引發 Full 異常。
從隊列中獲取任務，直接調用 get() 函數即可。
與 put() 函數一樣， get() 函數也有兩個可選參數，完整簽名如下 Queue.get(block=True, timeout=None) 。
默認情況下，當隊列空時調用該函數會一直阻塞，直到隊列中有任務可獲取為止。如果 timeout 是正數，則最多阻塞 timeout 秒，如果這段時間內還沒有任務可獲取，則會引發 Empty 異常。
當 block 為 false 時，timeout 參數將失效。同時如果隊列中沒有任務可獲取則會立刻引發 Empty 異常，否則會直接獲取一個任務並返回，不會阻塞。
另外，還可以通過 Queue.get_nowait() 來獲取任務，相當於 Queue.get(False) ，不再贅述。同裂槐樣，在隊列為空時，該操作會引發 Empty 異常。
Queue.qsize() 函數返回隊列的大小。注意這個大小不是精確的，qsize() > 0 不保證後續的 get() 不被阻塞，同樣 qsize() < maxsize 也不保證 put() 不被阻塞。
如果隊列為空，返回 True ，否則返回 False 。如果 empty() 返回 True ，不保證後續調用的 put() 不被阻塞。類似的，如果 empty() 返回 False ，也不保證後續調用的 get() 不被阻塞。
如果隊列是滿的返回 True ，否則返回 False 。如果 full() 返回 True 不保證後續調用的 get() 不被阻塞。類似的，如果 full() 返回 False 也不保證後續調用的 put() 不被阻塞。
queue.Queue() 是 FIFO 隊列，出隊順序跟入隊順序是一致的。
queue.LifoQueue() 是 LIFO 隊列，出隊順序跟入隊順序是完全相反的，類似於棧。
優先順序隊列中的任務順序跟放入時的順序是無關的，而是按照任務的大小來排序，最小值先被取出。那任務比較大小的規則是怎麼樣的呢。
注意，因為列表的比較對規則是按照下標順序來比較的，所以在沒有比較出大小之前 ，隊列中所有列表對應下標位置的元素類型要一致。
好比 [2,1] 和 ["1","b"] 因為第一個位置的元素類型不一樣，所以是沒有辦法比較大小的，所以也就放入不了優先順序隊列。
然而對於 [2,1] 和 [1,"b"] 來說即使第二個元素的類型不一致也是可以放入優先順序隊列的，因為只需要比較第一個位置元素的大小就可以比較出結果了，就不需要比較第二個位置元素的大小了。
但是對於 [2,1] 和 1 [2,"b"] 來說，則同樣不可以放入優先順序隊列，因為需要比較第二個位置的元素才可以比較出結果，然而第二個位置的元素類型是不一致的，無法比較大小。
綜上，也就是說， 直到在比較出結果之前，對應下標位置的元素類型都是需要一致的 。
下面我們自定義一個動物類型，希望按照年齡大小來做優先順序排序。年齡越小優先順序越高。
本章節介紹了隊列以及其常用操作。因為隊列默認實現了鎖原語，因此在多線程編程中就不需要再考慮多線程安全問題了，對於程序員來說相當友好了。
Ⅶ Python實現簡單多線程任務隊列
Python實現簡單多線程任務隊列
最近我在用梯度下降演算法繪制神經網路的數據時，遇到了一些演算法性能的問題。梯度下降演算法的代碼如下（偽代碼）：
defgradient_descent(): # the gradient descent code plotly.write(X, Y)
一般來說，當網路請求 plot.ly 繪圖時會阻塞等待返回，於是也會影響到其他的梯度下降函數的執行速度。
一種解決辦法是每調用一次 plotly.write 函數就開啟一個新的線程，但是這種方法感覺不是很好。 我不想用一個像 cerely（一種分布式任務隊列）一樣大而全的任務隊列框架，因為框架對於我的這點需求來說太重了，並且我的繪圖也並不需要 redis 來持久化數據。
那用什麼辦法解決呢？我在 python 中寫了一個很小的任務隊列，它可以在一個單獨的線程中調用 plotly.write函數。下面是程序代碼。
classTaskQueue(Queue.Queue):
首先我們繼承 Queue.Queue 類。從 Queue.Queue 類可以繼承 get 和 put 方法，以及隊列的行為。
def__init__(self, num_workers=1): Queue.Queue.__init__(self) self.num_workers=num_workers self.start_workers()
初始化的時候，我們可以不用考慮工作線程的數量。
defadd_task(self, task,*args,**kwargs): args=argsor() kwargs=kwargsor{} self.put((task, args, kwargs))
我們把 task, args, kwargs 以元組的形式存儲在隊列中。*args 可以傳遞數量不等的參數，**kwargs 可以傳遞命名參數。
defstart_workers(self): foriinrange(self.num_workers): t=Thread(target=self.worker) t.daemon=True t.start()
我們為每個 worker 創建一個線程，然後在後台刪除。
下面是 worker 函數的代碼：
defworker(self): whileTrue: tupl=self.get() item, args, kwargs=self.get() item(*args,**kwargs) self.task_done()
worker 函數獲取隊列頂端的任務，並根據輸入參數運行，除此之外，沒有其他的功能。下面是隊列的代碼：
我們可以通過下面的代碼測試：
defblokkah(*args,**kwargs): time.sleep(5) print「Blokkah mofo!」 q=TaskQueue(num_workers=5) foriteminrange(1): q.add_task(blokkah) q.join()# wait for all the tasks to finish. print「Alldone!」
Blokkah 是我們要做的任務名稱。隊列已經緩存在內存中，並且沒有執行很多任務。下面的步驟是把主隊列當做單獨的進程來運行，這樣主程序退出以及執行資料庫持久化時，隊列任務不會停止運行。但是這個例子很好地展示了如何從一個很簡單的小任務寫成像工作隊列這樣復雜的程序。
defgradient_descent(): # the gradient descent code queue.add_task(plotly.write, x=X, y=Y)
修改之後，我的梯度下降演算法工作效率似乎更高了。如果你很感興趣的話，可以參考下面的代碼。 classTaskQueue(Queue.Queue): def__init__(self, num_workers=1):Queue.Queue.__init__(self)self.num_workers=num_workersself.start_workers() defadd_task(self, task,*args,**kwargs):args=argsor()kwargs=kwargsor{}self.put((task, args, kwargs)) defstart_workers(self):foriinrange(self.num_workers):t=Thread(target=self.worker)t.daemon=Truet.start() defworker(self):whileTrue:tupl=self.get()item, args, kwargs=self.get()item(*args,**kwargs)self.task_done() deftests():defblokkah(*args,**kwargs):time.sleep(5)print"Blokkah mofo!" q=TaskQueue(num_workers=5) foriteminrange(10):q.add_task(blokkah) q.join()# block until all tasks are doneprint"All done!" if__name__=="__main__":tests()