[發明專利]基于資源重要程度的集群程序調度方法

有效

• 申請號: 201710462836.7
• 申請日: 2017-06-19
• 公開（公告）號: CN107291539B
• 公開（公告）日: 2019-11-01
• 發明（設計）人: 耿世超;趙雪;王琳
• 申請（專利權）人: 山東師范大學;山東省計算中心（國家超級計算濟南中心）
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于資源重要程度的集群程序調度方法，該調度方法針對每個程序將資源按照對程序的重要程序排序，在查找節點時按照資源重要程度序列查找資源，從而保證多種類型的程序的性能。本發明避免了盲目的基于處理器資源和內存資源進行調度的缺點，保證了磁盤密集型、網絡密集型程序的性能；對每個程序都按照不同的資源順序查找執行環境，能夠最大化發揮數據中心中資源的效用。

技術領域

本發明涉及并行與分布計算，尤其是集群中程序的調度，特別涉及基于資源重要程度的集群程序調度方法。

背景技術

數據中心作為云計算的基礎設施和用戶與云服務運營商可以共贏的載體，隨著網絡訪問非本地計算服務的增加，已經從概念走向成熟。但是數據中心資源利用率一般不足30％。而低資源利用率導致較低能效，2012年紐約時報的調查顯示數據中心浪費大量能耗，只有總能耗的6％到12％用作了有效的計算。如何提高資源利用率成為云計算運營商需要考慮的關鍵問題，從商業角度和學術角度都備受關注。

負載聚合(Workload Consolidation)是提高數據中心資源利用率的重要手段，負載聚合是把多個程序分配到一個計算節點上，從而使服務器結點節點提高計算、存儲、磁盤I/O等資源的利用率，并可以關閉更多空閑節點以降低能耗開銷。近期調查顯示隨著計算需求的增加，超過60％的數據中心運營商會采用負載聚合。負載聚合可以在程序性能與系統資源利用率之間實現權衡。

當前數據中心運行多種多樣的程序，如處理器密集型、磁盤密集型等等。然而，在數據中心當前通用的負載聚合方法是在做調度決策時只考慮處理器和內存資源，根據程序對這兩種資源的占用實現調度，從而達到集群中處理器和內存資源的負載均衡。但是這種方法忽略了程序對磁盤和網絡帶寬資源的占用容量，往往導致磁盤密集或網絡帶寬密集程序較低的性能。因此，需要一種更適用于數據中心的調度策略能夠考慮處理器、內存、磁盤帶寬、網絡帶寬等多種資源，保證各種特征的程序的性能。

發明內容

本發明的目的是提出一種基于資源重要程度的集群程序調度方法，該調度方法針對每個程序將資源按照對程序的重要程度排序，稱這個序列為資源重要程度序列。在查找節點時按照資源重要程度序列查找資源，從而保證多種類型的程序的性能。

基于資源重要程度的集群程序調度方法，在實現調度時考慮處理器、磁盤讀取、磁盤寫入、內存和網絡帶寬五個資源，包括以下步驟：

步驟(1)：資源采集：獲取處理器、磁盤讀取、磁盤寫入、內存和網絡帶寬五個資源的空閑資源信息；

步驟(2)：資源排序：首先，計算資源對程序重要程度；然后，對于任務隊列中的每一個程序，按照資源對程序的重要程度對資源進行排序；得到每一個程序的資源重要程度序列；

步驟(3)：調度：對于任務隊列中的每一個程序，從資源重要程度序列中選取第一個資源，并為第一個資源查找若干個服務器節點；查找若干個服務器節點以所查找的服務器節點的空閑資源容量大于程序對第一個資源的占用容量為標準；

然后，從第一個資源已經查找出的服務器節點中，為第二個資源查找滿足需求的服務器節點，同樣，以所查找的服務器節點的空閑資源大于程序對第二個資源的占用容量為標準；

以此類推，直至序列中為最后一個資源查找出滿足需求的服務器節點，將最后一個資源查找出的服務器節點存儲到服務列表中；

程序執行的時候，直接從服務列表中選擇服務器節點進行程序運行。

所述步驟(1)的步驟為：

步驟(101)：獲取服務器節點上處理器、磁盤讀取、磁盤寫入、內存、網絡帶寬五個資源的已使用容量；

步驟(102)：利用處理器、磁盤讀取、磁盤寫入、內存、網絡帶寬五個資源各自的總容量，對應減去每個資源各自的已使用容量，得到每個資源的空閑資源信息；