演算法模型平台如何調度資源

Ⅰ linux進程、線程及調度演算法（三）

調度策略值得是大家都在ready時，並且CPU已經被調度時，決定誰來運行，誰來被調度。

兩者之間有一定矛盾。
響應的優化，意味著高優先順序會搶占優先順序，會花時間在上下文切換，會影響吞吐。
上下文切換的時間是很短的，幾微妙就能搞定。上下文切換本身對吞吐並多大影響， 重要的是，切換後引起的cpu 的 cache miss.
每次切換APP, 數據都要重新load一次。
Linux 會盡可能的在響應與吞吐之間尋找平衡。比如在編譯linux的時候，會讓你選擇 kernal features -> Preemption model.
搶占模型會影響linux的調度演算法。

所以 ARM 的架構都是big+LITTLE， 一個很猛CPU+ 多個 性能較差的 CPU, 那麼可以把I/O型任務的調度 放在 LITTLE CPU上。需要計算的放在big上。

早期2.6 內核將優先順序劃分了 0-139 bit的優先順序。數值越低，優先順序越高。0-99優先順序 都是 RT（即時響應）的 ，100-139都是非RT的，即normal。
調度的時候 看哪個bitmap 中的 優先順序上有任務ready。可能多個任務哦。

在普通優先順序線程調度中，高優先順序並不代表對低優先順序的絕對優勢。會在不同優先順序進行輪轉。
100 就是比101高，101也會比102高，但100 不會堵著101。
眾屌絲進程在輪轉時，優先順序高的：

初始設置nice值為0，linux 會探測 你是喜歡睡眠，還是幹活。越喜歡睡，linux 越獎勵你，優先順序上升（nice值減少）。越喜歡幹活，優先順序下降（nice值增加）。所以一個進程在linux中，干著干著 優先順序越低，睡著睡著 優先順序越高。

後期linux補丁中

紅黑樹，數據結構， 左邊節點小於右邊節點
同時兼顧了 CPU/IO 和 nice。
數值代表著 進程運行到目前為止的virtual runtime 時間。

（pyhsical runtime） / weight * 1024(系數)。
優先調度 節點值（vruntime）最小的線程。權重weight 其實有nice 來控制。

一個線程一旦被調度到，則物理運行時間增加，vruntime增加，往左邊走。
weight的增加，也導致vruntime減小，往右邊走。
總之 CFS讓線程 從左滾到右，從右滾到左。即照顧了I/O(喜歡睡，分子小) 也 照顧了 nice值低（分母高）.所以 由喜歡睡，nice值又低的線程，最容易被調度到。
自動調整，無需向nice一樣做出獎勵懲罰動作，個人理解權重其實相當於nice

但是 此時 來一個 0-99的線程，進行RT調度，都可以瞬間秒殺你！因為人家不是普通的，是RT的!

一個多線程的進程中，每個線程的調度的策略 如 fifo rr normal, 都可以不同。每一個的優先順序都可以不一樣。
實驗舉例, 創建2個線程，同時開2個：

運行2次，創建兩個進程
sudo renice -n -5(nice -5級別) -g(global)， 會明顯看到 一個進程的CPU佔用率是另一個的 3倍。

為什麼cpu都已經達到200%，為什麼系統不覺得卡呢？因為，我們的線程在未設置優先順序時，是normal調度模式，且是 CPU消耗型 調度級別其實不高。

利用chrt工具，可以將進程 調整為 50 從normal的調度策略 升為RT （fifo）級別的調度策略，會出現：

chrt , nice renice 的調度策略 都是以線程為單位的，以上 設置的將進程下的所有線程進行設置nice值
線程是調度單位，進程不是，進程是資源封裝單位！

兩個同樣死循環的normal優先順序線程，其中一個nice值降低，該線程的CPU 利用率就會比另一個CPU的利用率高。

Ⅱ 操作系統的進程調度演算法[總結]

操作系統的進程調度演算法直接關繫到用戶的使用體驗。

如果把用戶的體驗時間，引入到計算機裡面，我們引入以下幾個概念。

周轉時間，指作業從提交系統開始，直到作業完成為止的時間間隔。包括：

是指作業周轉時間與作業實際運行服務時間的比值。
平均周轉時間和平均帶權周轉時間是衡量批處理系統調度演算法的重要准則。

先來先服務調度演算法（First Come First Served, FCFS）是最簡單的調度演算法，可以用於作業調度和進程調度。
按照作業進入系統後備作業隊列的先後次序來挑選作業，加入就緒隊列，等待執行。

FCFS是非搶占式的，易於實現，效率不高，性能不好.
有利於長作業（CPU繁忙性）而不利於短作業（I/O繁忙性）。

服務時間：作業需要運行的時間
完成時間 = 開始時間 + 服務時間
等待時間 = 開始時間 - 提交時間
周轉時間 = 完成時間 - 提交時間
帶權周轉時間 = 周轉時間 / 服務時間
響應比 = （等待時間 + 服務時間） / 服務時間 = 等待時間/服務時間 + 1

該演算法每次從後備作業隊列中挑選估計服務時間最短的一個或幾個作業，
將他們調入內存，分配必要的資源，創建進程並放入就緒隊列。
在進程調度中的原理類似。

SJF是非搶占式的，優先照顧短作業，具有很好的性能，降低平均等待時間，提高吞吐量。
但是不利於長作業，長作業可能一直處於等待狀態，出現飢餓現象；
完全未考慮作業的優先緊迫程度，不能用於實時系統。

高響應比優先調度演算法（Highest Reponse Ratio First, HRRF）是非搶占式的，主要用於作業調度。
基本思想：每次進行作業調度時，先計算後備作業隊列中每個作業的響應比，挑選最高的作業投入系統運行。
響應比 = （等待時間 + 服務時間） / 服務時間 = 等待時間 / 服務時間 + 1

由響應比分析可知，該演算法介於FCFS和SJF之間，但是每次需要計算每個作業的響應比，增加系統開銷。

Ⅲ 請問任務調度與資源分配的關系是什麼！！

親，網路搜集的數據，希望對你有幫助！雲計算是一種商業計算模型。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算力、存儲空間和信息服務。研究背景雲計算廠商都有自己資源分配與任務調度模式，但並沒有統一的標准和規范。在雲計算中，資源分配的效率非常重要，對雲計算平台的系統綜合性能影響很大。 雲計算=(數據軟體+平台+基礎設施)×服務,從這個公式可以看出資源分配與任務調度成正比，資源分配的越合理，任務調度實行的效率越高！

Ⅳ 怎麼優化hadoop任務調度演算法

首先介紹了Hadoop平台下作業的分布式運行機制，然後對Hadoop平台自帶的4種任務調度器做分析和比較，最後在分析JobTracker類文件的基礎上指出了創建自定義任務調度器所需完成的工作。
首先Hadoop集群式基於單伺服器的，只有一個伺服器節點負責調度整個集群的作業運行，主要的具體工作是切分大數據量的作業，指定哪些Worker節點做Map工作、哪些Worker節點做Rece工作、與Worker節點通信並接受其心跳信號、作為用戶的訪問入口等等。其次，集群中的每個Worker節點相當於一個器官，運行著主節點所指派的具體作業。這些節點會被分為兩種類型，一種是接收分塊之後的作業並做映射工作。另一種是負責把前面所做的映射工作按照約定的規則做一個統計。
Task－Tracker通過運行一個簡單循環來定期地發送心跳信號（heartbeat）給JobTracker．這個心跳信號會把TaskTracker是否還在存活告知JobTracker，TaskTracker通過信號指明自己是否已經准備
好運行新的任務．一旦TaskTracker已經准備好接受任務，JobTracker就會從作業優先順序表中選定一個作業並分配下去．至於到底是執行Map任務還是Rece任務，是由TaskTracker的任務槽所決定的．默認的任務調度器在處理Rece任務之前，會優先填滿空閑的Map任務槽．因此，如果TaskTracker滿足存在至少一個空閑任務槽時，JobTracker會為它分配Map任務，否則為它選擇一個Rece任務．TaskTracker在運行任務的時候，第一步是從共享文件系統中把作業的JAR文件復制過來，從而實現任務文件的本地化．第二步是TaskTracker為任務新建一個本地文件夾並把作業文件解壓在此目錄中．第三步是由Task－Tracker新建一個TaskRunner實例來運行該任務．
Hadoop平台默認的調度方案就是JobQueueTaskScheler，這是一種按照任務到來的時間先後順序而執行的調度策略．這種方式比較簡單，JobTracker作為主控節點，僅僅是依照作業到來的先後順序而選擇將要執行的作業．當然，這有一定的缺陷，由於Hadoop平台是默認將作業運行在整個集群上的，那麼如果一個耗時非常大的作業進入執行期，將會導致其餘大量作業長時間得不到運行．這種長時間運行的優先順序別並不高的作業帶來了嚴重的作業阻塞，使得整個平台的運行效率處在較低的水平．Hadoop平台對這種FIFO（FirstINAndFirstOut）機制所給出的解決辦法是調用SetJobPriority（）方法，通過設置作業的權重級別來做平衡調度．
FairScheler是一種「公平」調度器，它的目標是讓每個用戶能夠公平地共享Hadoop集群計算能力．當只有一個作業運行的時候，它會得到整個集群的資源．隨著提交到作業表中作業的增多，Hadoop平台會把集群中空閑出來的時間槽公平分配給每個需要執行的作業．這樣即便其中某些作業需要較長時間運行，平台仍然有能力讓那些短作業在合理時間內完成［3］．FairScheler支持資源搶占，當一個資源池在一定時段內沒有得到公平共享時，它會終止該資源池所獲得的過多的資源，同時把這些釋放的資源讓給那些資源不足的資源池．
Hadoop平台中的CapacityScheler是由Yahoo貢獻的，在調度器上，設置了三種粒度的對象：queue，job，task．在該策略下，平台可以有多個作業隊列，每個作業隊列經提交後，都會獲得一定數量的TaskTracker資源．具體調度流程如下．
（1）選擇queue，根據資源庫的使用情況從小到大排序，直到找到一個合適的job．
（2）選擇job，在當前所選定的queue中，按照作業提交的時間先後以及作業的權重優先順序別進行排序，選擇合適的job．當然，在job選擇時還需要考慮所選作業是否超出目前現有的資源上限，以及資源池中的內存是否夠該job的task用等因素．
（3）選擇task，根據本地節點的資源使用情況來選擇合適的task．
雖然Hadoop平台自帶了幾種調度器，但是上述3種調度方案很難滿足公司復雜的應用需求．因此作為平台的個性化使用者，往往需要開發自己的調度器．Hadoop的調度器是在JobTracker中載入和調用的，因此開發一個自定義的調度器就必須搞清楚JobTracker類文件的內部機制．作為Hadoop平台的核心組件，JobTracker監控著整個集群的作業運行情況並對資源進行管理調度．每個Task－Tracker每隔3s通過heartbeat向JobTracker匯報自己管理的機器的一些基本信息，包括內存使用量、內存的剩餘量以及空閑的slot數目等等［5］．一
旦JobTracker發現了空閑slot，便會調用調度器中的AssignTask方法為該TaskTracker分配task。

Ⅳ cpu調度的基本方式

我們知道，程序需要獲得CPU的資源才能被調度和執行，那麼當一個進程由於某種原因放棄CPU然後進入阻塞狀態，下一個獲得CPU資源去被調度執行的進程會是誰呢？下圖中，進程1因為阻塞放棄CPU資源，此時，進程2剛IO操作結束，可以獲得CPU資源去被調度，進程3的時間片輪轉結束，也同樣可以獲得CPU資源去被調度，那麼，此時的操作系統應該安排哪個進程去獲得CPU資源呢？這就涉及到我們操作系統的CPU調度策略了。

根據生活中的例子，我們很容易想到以下兩種策略CPU調度的直觀想法：1.FIFO誰先進入，先調度誰，這是一種非常簡單有效的方法，就好比我們去飯堂打飯，誰先到就給誰先打飯。但是這種策略會遇到一個問題：如果遇到一個很小的任務，但是它是最後進入的，那麼必須得前面一大堆任務結束完後才能執行這個小小的任務，這樣就感覺很不劃算呀！因為我只是簡簡單單的一個小任務，但是從打開這個任務到結束這個任務要很久。這顯然不符合我們的需求，因而我們會想到第2種策略，就是先調度小任務，後調度大任務。2.Priority很簡單，就是任務短的優先執行，但是此時又有問題了，任務雖然短，但是它的執行時間不一定短，就好比在一個銀行業務中，客戶填寫一個表，這是一個非常短的任務吧——就單單填個表，但是這個表很長很長，那麼這個短任務它的執行時間就很長了，我們怎麼知道這個短的任務將來會執行多長的時間呢？所以，這樣的策略還是依然有問題。那麼，面對諸多的場景，如何設計調度演算法呢？首先，我們要明白我們的演算法應該讓什麼更好呢？面對客戶：銀行調度演算法的設計目標應該是用戶滿意；而面對進程：CPU調度的目標應該是進程滿意。那怎麼才能讓進程滿意呢？那就是時間了。進程希望盡早地結束任務，這就是周轉時間(從任務到達到任務結束)要短，而且希望用戶的操作能夠盡快地被響應，這就是響應時間(從操作發生到響應)要短。而且系統內耗時間要少，吞吐量(任務的完成量)要大，系統需要把更多的時間用在任務的執行上，而不能老是去做無關緊要的事情，例如：頻繁切換任務，切換棧，分配資源等事情。同時，系統還要去合理地調配任務。那麼，CPU的調度策略如何做到合理呢？首先得明白系統中有以下的幾種矛盾。1.吞吐量和響應時間之間有矛盾響應時間小=>切換次數多=>系統內耗大=>吞吐量小由於需要較短的響應時間，那麼就得頻繁地切換任務，這樣系統的很多時間都花在切換任務上面了，系統的內耗大了，吞吐量就小了。2.前台任務和後台任務的關注點不同前台任務關注響應時間，後台任務關注周轉時間。前台任務例如我們的word文檔，我們打一個字，需要立馬顯示在文檔中，這就是word文檔這個任務關注的是響應時間；而後台任務中，例如我們的javac編譯java代碼，它的周轉時間要小，即該任務從進入到結束所花的時間要小，即編譯完成的時間要小。http://3.IO約束型任務和CPU約束型任務各有各的特點IO約束型任務就是使用CPU的時間較少，進行IO操作的時間較長，CPU約束型的任務就是使用CPU的時間較長。因此，要做到合理，需要折中、綜合考慮以上的幾種矛盾。由此，產生了一些CPU的調度演算法，在下一節我們將重點講述這些CPU調度演算法。

關注小鯨融創，一起深度學習金融科技！

編輯於 2019-12-11 · 著作權歸作者所有
贊同 1
評論
展開全部

Ⅵ 做數據集群訓練，如何比較好的資源調度做到程序穩定（多深度學習GPU的調度策略）

藍海大腦液冷數據中心研發人員指出：這是一個就是GPU集群管理調度的一個問題，現在主流的GPU系統在國內可以分成2部分，一類是交通系統，一類是基於容器的一個比如K8S的調度編排的一個調度系統。K8S裡面是支持了GPU設備的自發現，然後你只是去提交GPU的一個請求的個數以及GPU資源的類型，然後它會自動去幫你去做調度。另外的話是以HPC為傳統的那種，比如說PPS或SLAM調度，SLAM裡面也有支持GPU設備的一個自我調度，然後把GPU設備作為一個計算對象可以去請求。當然由於GPU系統的拓撲結構是一樣的，不同的調度演算法，給你分配的GPU資源可能會存在一些GPU拓撲不是最優的情況。然後針對這種情況，不管是SLAM還是K8S系統，NVIDIA寫了一個拓撲自我檢測的小程序演算法，它可以很好的集成到K8S以及SLAM裡面，然後在做GPU資源分配時，根據這個演算法去分配GPU資源，以保證你分配的CPU資源是最優的，拓撲最優，而且也會保證以後的分配，對以後資源的拓撲最優也會有保證。

Ⅶ 設計一套調度演算法,演算法既支持批處理任務,又支持普通的分時進程,還支持實時任務，說明設計思路。

考多級反饋隊列 ，能滿足題設的要求 湯子贏 教材上 有介紹

調度演算法
在操作系統中調度是指一種自遠方分配，因而調度演算法是指：根據系統的資源分配策略所規定的資源分配演算法。對於不同的的系統和系統目標，通常採用不同的調度演算法，例如，在批處理系統中，為了照顧為數眾多的段作業，應採用短作業優先的調度演算法；又如在分時系統中，為了保證系統具有合理的響應時間，應當採用輪轉法進行調度。目前存在的多種調度演算法中，有的演算法適用於作業調度，有的演算法適用於進程調度；但也有些調度演算法既可以用於作業調度，也可以用於進程調度。

Ⅷ 如何將蟻群演算法植入cloudsim作為資源調度策略

cloudsim是澳大利亞墨爾本大學的網格實驗室和Gridbus項目宣布推出的雲計算模擬軟體。
主要類的介紹：

Cloudlet類：構建雲環境下的任務。
DataCenter類：數據中心，支持虛擬化的網格資源，處理虛擬機上面的信息查詢，也包含虛擬機對資源的分配策略的處理。
DataCenterBroker類：隱藏了虛擬機的管理，如創建、任務提交、虛擬機的銷毀等，即是一個代理業務。
Host類：擴展了機器對虛擬機除處理單元(PE)之外的參數分配策略，如帶寬、存儲空間、內存等，一台Host可對應多台虛擬機。
VirtualMachine類：虛擬機類，運行在Host上，與其它虛擬機共享資源，每台虛擬機由一個擁有者所有，可提交任務，並由VMScheler類定製該虛擬機的調度策略。
VMScheler類：虛擬機的調度策略，用來管理執行任務，實現了任務介面。
VMCharacteristics類：提供虛擬機描述。
VMMAllocationPolicy類：虛擬機監視器策略類，描述同一Host上的多台虛擬機共享資源的策略。

VMProvisioner類：實現數據中心的主機到虛擬機的映射。
主要過程：
①初始化一些值。
②創建數據中心,本實驗中為兩個數據中心：
DataCenter Mydatacenter_0 = createDatacenter(「MyDatacenter_0」);
DataCenter Mydatacenter_1 = createDatacenter(「MyDatacenter_1」);

③創建數據中心的代理業務：
DatacenterBroker broker = createBroker();
Int brokerId = broker.get_id();//獲取代理的ID:
④創建虛擬機列表:

Private static VirtualMachineList cerateVm(int userID,int vms)
{
VirtualMachineList list = new VirtualMachineList();

//VM 一些基本參數
Long size = 10000;

Int vcpus = 1;

Int priority = 1;
String vmm = 「bingchean」;//my name
//創建一個虛擬機列表數組
VirtualMachineList[] Myvm = new VirtualMachineList[vms];
For(int i = 0;i < vms;i++)
{
Vm[i] = new VirtualMachine
(new VMCharacteristics(i,usersID,size,memory,bw,vcpus,priority,
vmm,new TimeSharedVMScheler()));
//將每個創建好的虛擬機放入列表
List.add(vm[i]);
}
Return list;}

//創建15個虛擬機.
vmlist = createVM(brokerID,15);

//創建40個任務
cloudletlist = createCloudletlist(brokerId,40);

⑤提交任務列表和虛擬機列表
Broker.submitVMList(vmlist);
Broker.submitCloudletList(cloudletlist);

⑥開始模擬.
GridSim.startGridSimulation();
CloudletList newList = broker.getCloudletList();

⑦模擬結束,停止實驗,列印結果.
GridSim.stop GridSimulation();
printCloudletList(newList);

⑧列印每個數據中心的dept值.
Mydatacenter_0.printDepts();
Mydatacenter_1.printDepts();

實驗里運用蟻群演算法對資源分配，和普通的沒使用蟻群演算法的隨機演算法進行資源分配的實驗進行了對比。創建了兩個數據中心，15個虛擬機，分別執行20,30,40,50,60個任務,上圖中選取的是執行40個任務時的狀態.最後是通過QoS標准對交付給用戶的服務進行評判.
結果：

。。。。。太長

執行20個資源:平均耗時:
(4*40 + 11*80 + 3*60 + 2*160) / 15 = 102.67

執行30個資源:平均耗時:
(16*80 + 6*120 + 8*160) / 15 = 218.67

執行40個資源:平均耗時:
(4*80+24*120+12*240) / 15 = 405.33

執行50個資源:平均耗時:
(12*120 + 16*160 + 9*180 + 9*240 + 4*320) / 15 = 601.33

執行60個資源:平均耗時
(32*160 + 12*240 + 16*320) / 15 = 874.67
----------------------------------------------------------------------------------------------------------------

Qos中約束條件可以表述為:

要最終尋找的路徑要保證最短,且保證T(R)要最小,在圖G中尋找的范圍約束條件為滿足上式中的ABC.這樣做就可以保證雲計算在資源分配策略上滿足QoS標准.

Ⅸ 確定作業調度演算法的原則是什麼

①先來先服務演算法。原則上按照作業進入輸入井的次序調度，如果作業的資源得不到滿足，將會推遲調度，它的資源得到滿足的時候會優先被調度進來。

優點：具有一定的公平性。

缺點：系統的吞吐率低，平均周轉時間長，有大作業到來的時，許多小作業推遲調度。

②計算時間短的作業優先．優先調度計算時間短的作業進行調度，資源不滿足的情況下推遲調度。在這種調度演算法下，要求用戶要對作業的計算時間預先有一個估計，調度以此為依據。

優點：由於被選中的作業計算時間，所以不能盡快地完成並退出系統，降低了作業的平均等待時間，提高了系統的吞吐率。

缺點：大作業會不滿意，而且極限情況下使得某些大作業始終得不到調度。

③響應比高者優先演算法。該演算法考慮了計算時間等待時間，既考慮了計算時間短的作業優先，又考慮了大作業長期等待的問題。所謂響應比是按照以下公式來定義的：

響應比R=等待時間/計算時間

這里的計算時間是估計的作業計算時間，從公式看，計算時間越短，響應比越高；而另一方面，大作業等待時間越長，響應比也會越大。一個作業完成以後，需要重新計算一下在輸入井中的各個作業的響應比，最高的將優先調度。

④優先數調度演算法。為每一個作業指定一個優先數，優先數高的作業先被調度。對於優先數相等的作業採用先來先服務的策略。優先數的制定原則是：作業的緩急程序，估計的計算時間，作業的等待時間，資源申請情況等因素綜合考慮。

⑤均衡調度演算法。使用不同資源的進程同時執行，減少作業等待同類設備而耗費的時間，加快作業的執行。

(9)演算法模型平台如何調度資源擴展閱讀：

在操作系統中調度是指一種資源分配，因而調度演算法是指：根據系統的資源分配策略所規定的資源分配演算法。對於不同的的系統和系統目標，通常採用不同的調度演算法，例如，在批處理系統中，為了照顧為數眾多的段作業，應採用短作業優先的調度演算法；又如在分時系統中，為了保證系統具有合理的響應時間，應當採用輪轉法進行調度。

目前存在的多種調度演算法中，有的演算法適用於作業調度，有的演算法適用於進程調度；但也有些調度演算法既可以用於作業調度，也可以用於進程調度。

Ⅹ Mesos 資源分配&調度

mesos採用雙層調度方案, master決定將多少資源分配給framework, 如何使用由framework決定, 流程：

Mesos通過支配資源公平演算法(DRF)進行資源分配
概念：
最大-最小資源公平演算法：
支配資源：在總資源比例最大的資源類型
支配比例：支配資源所在總資源的比例
例如：總資源為<8 CPU, 32 G>，框架A申請<2CPU, 1G>， 則支配資源為max([2/8, 1/32])，即cpu為支配資源，其支配比例為25%
DRF演算法是在每個框架的支配資源上在利用最大-最小資源公平演算法進行資源分配

Mesos FrameworkInfo中的用戶角色可以用來決定資源的分配，可以每個用戶或者每個框架一個角色，或者多個用戶和框架共享一個角色，若未顯示設置，則為運行框架調度器的用戶

加權DRF：
在Mesos master啟動時可以通過--weights和--roles設置加權DRF, --weights後接角色/權重列表格式為role1=weight1,權重為非整數，且roles中設置的角色必須都在weights設置權重

靜態預留：
在slave上可以通過resource參數設置某部分資源只能由某角色使用，格式為name(role)value的列表，若沒有指定角色的資源和未出現的資源將被劃分到默認角色下, 例如
--resources="cpus:4;mem:2048;cpus(proct):8;mem(proct):4096"
指將8個cpu，4096M內存的slave預留給proct角色
修改resources屬性後需要重啟slave

動態預留:
在framework接受到offer可以發送Offer::Operations::Reserve和Offer::Operations::Unreserve管理預留資源
也可以通過/reserve和/unreserve兩個restapi對資源預留進行管理，此時不需要重啟slave