[發明專利]一種資源調度方法、系統及主節點

有效

• 申請號: 201510822793.X
• 申請日: 2015-11-24
• 公開（公告）號: CN106790332B
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 馬軼慧
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 11270 北京派特恩知識產權代理有限公司
• 代理人: 江宇;姚開麗

本發明實施例公開了一種資源調度方法、系統及主節點。所述方法包括：主節點獲得所有從節點的剩余資源量，基于所述剩余資源量將對應的從節點信息劃分至對應的資源子集中；其中，預設的資源集合包括多個資源子集，所述資源子集對應預設資源量范圍；相鄰兩個資源子集的資源量范圍連續分布；接收第一計算框架(Framework)的資源需求信息，基于所述資源需求信息在所述資源集合中獲得滿足所述資源需求信息的第K資源子集；K為正整數；確定所述第K資源子集中包含從節點信息時，所述第K資源子集的資源調度器從所述第K資源子集中選擇滿足預設條件的第一從節點信息；獲得所述第一從節點信息，基于所述第一從節點信息將所述第一從節點的資源分配給所述第一Framework。

技術領域

本發明涉及調度技術，具體設計一種資源調度方法、系統及主節點。

背景技術

Mesos是Apache下的開源分布式資源管理框架，能夠實現多種計算框架的統一集群管理和調度。其目標是整合數據中心資源，進行虛擬池化，對應用開放諸如中央處理器(CPU)、內存和輸入/輸出(I/O)這些基本資源，類似操作系統將處理器資源和存儲器資源放入資源池，使其可以為不同的進程協調分配和釋放資源。

Mesos采用了Master/Slave結構，圖1為現有技術中Mesos架構示意圖；如圖1所示，Mesos架構包括主節點(Mesos Master)、從節點(Mesos Slave)、計算框架(Framework)和執行器(Executor)。其中，主節點協調全部的從節點，并確定每個從節點的可用資源，聚合計算跨節點的所有可用資源的報告，然后向注冊到主節點的計算框架(Framework)發出資源邀約。計算框架(Framework)指外部計算框架，如圖1中所示的Hadoop、MPI等。計算框架(Framework)根據任務需求，選擇接受或拒絕來自主節點的資源邀約；如果計算框架(Framework)接受邀約，主節點負責協調計算框架(Framework)和從節點進行任務調度。目前，Mesos中的使用的調度機制被稱為“ResourceOffer”，采用了基于資源量的調度機制，在Mesos架構中，從節點直接將資源量(如CPU和內存)上報給主節點，由主節點采用DRF(Dominant Resource Fairness)等機制將資源量分配給Framework，使資源分配相對公平，不偏向于任何用戶，保證每個用戶(Framework)獲取了相同比例的支配性資源，例如：Framework A獲取了2/3的內存資源，Framework B獲取了2/3的CPU資源，則資源調度處理流程如下：

1、Slave1向Master上報4CPU和8GB內存的空閑資源，Master調用分配模塊，通知Framework A所有可用的空閑資源；

2、Master發送當前空閑資源的描述信息(Resource Offer)給Framework A；

3、Framework A的調度器回復Master，運行兩個任務(task)在Slave 1上，第一個任務使用了2CPU、1GB內存，第二個任務使用了2CPU、2GB內存；

4、Master把任務描述信息發送給Slave 1，Slave 1分配適當的資源給Framework的執行器，然后由Framework的執行器加載這兩個任務。執行任務之后，Slave 1剩余資源為0CPU和5GB內存。

Mesos架構的資源調度主要從滿足Framework需求的角度進行資源分配，一方面，可能導致某些Slave節點在運行指定任務后，存在剩余資源，但是該剩余資源又不足以分配給其它任務；另一方面由于Framework自身設置的過濾條件，如允許Framework只接收“剩余資源量大于L的Slave”，通過這一過濾條件分配給該Framework的Slave上存在剩余資源，該剩余資源又不足以分配給其他任務運行，這樣便產生了大量的資源碎片。另外，Mesos架構主要依賴于主節點向Framework推送可用資源，再進行資源協商，協商過程需要一定時間，實時性較差。

發明內容