[發明專利]一種具有彈性架構的集群作業調度系統

無效

• 申請號: 200910017115.0
• 申請日: 2009-07-09
• 公開（公告）號: CN101599026A
• 公開（公告）日: 2009-12-09
• 發明（設計）人: 魏健;李剛;邸雙朋
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F3/048;H04L29/06;H04L12/56
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及計算機領域，具體涉及高性能計算集群中一種具有彈性體系架構的作業調度系統，尤其涉及一種支持多集群間作業調度的方法。

技術背景

隨著計算機技術的發展，高性能計算在科學研究和工程技術中的作用越來越重要。在各個科學計算領域，都存在著相應的科學計算軟件，用來輔助用戶進行問題求解。但這些軟件所面臨的一個共同問題是，用戶必須登錄到集群系統上才能使用相應的軟件，創建作業，提交作業。這就增加了用戶使用軟件的難度，降低了工作效率。此外，大部分高性能集群的操作系統都是Linux或Unix，用戶要想使用某個科學計算軟件必須首先學會使用Linux或Unix，極大的增加了用戶的負擔。目前市場上的同類作業調度系統產品主要有Platform?MultiCluster。存在的不足是產品價格昂貴，集群內部的調度器只能是Platform?LSF，而不支持其它集群調度器，無法為用戶提供統一的圖形界面和進行遠程作業管理以及滿足科學計算軟件進行問題求解。

發明內容

本發明的目的是提供一種具有彈性架構的集群作業調度系統，作業調度系統是B/S架構的，為用戶提供統一的圖形界面和進行遠程作業管理以及使用科學計算軟件進行問題求解。系統同時支持在集群間建立調度器，支持多集群的調度，集群內部調度器支持OpenPBS、MAUI，并且可以擴展。

本發明要解決的問題是用戶可以通過web提交作業，使用科學計算軟件求解并且支持在集群間和集群內部建立不同的調度器，支持多集群以及大規模集群時的作業調度。本發明的系統還提供應用管理功能，自動生成作業運行時與應用相關的運行腳本。

本發明的作業調度系統，包括調度器管理模塊，策略管理模塊，資源管理模塊，作業管理模塊，應用管理模塊。調度器管理模塊與策略管理模塊、資源管理模塊、作業管理模塊相連，作業管理模塊又與應用管理模塊和資源管理模塊相連，五模塊共同協作完成作業的調度。如圖1所示。

調度器管理模塊負責創建調度器，控制調度器的狀態，在集群間和集群內部建立的調度器是不同的。集群間的調度器是應用調度器，負責將作業按照作業的應用屬性分配到具有該應用的集群上，即將任務提交給具有某個應用屬性的隊列里。集群內部調度器負責按用戶設定的調度策略調度在該集群隊列中的任務。當大規模集群時，可以通過把這個大集群劃分成小集群，擴展集群內調度器，降低一個調度器時的調度負載和通訊負載，來支持大規模的集群應用。

策略管理模塊負責調度策略的制定，在本發明的系統中包含作業的調度策略和資源的調度策略。其中作業的調度策略，包括優先級、資源公平共享、資源需求的策略，并允許用戶自定義調度策略；資源的調度策略包括CPU負載低優先，資源先空閑先使用，最小滿足需求的資源優先策略。調度器需要選擇要使用的調度策略，這些調度策略可以相同，也可以不同。資源管理模塊，負責包括集群、功能池、節點的管理，其中節點的管理包括收集節點的靜態信息、負載信息；靜態信息包括，按核計算的CPU個數，CPU類型，內存大小，磁盤容量；負載信息包括CPU利用率、內存利用率、磁盤利用率。調度器需要根據資源管理模塊提供的信息進行調度。

作業管理模塊，負責作業的提交、修改、刪除、重啟、掛起、退出、強制執行，作業管理模塊與資源管理模塊和應用管理模塊相連。作業創建時，可以選擇提交的集群和節點，這些集群和節點是資源管理模塊提供的；作業創建時時有一個應用屬性，選擇某一應用后，填寫這個應用相關的參數配置，當作業提交時根據該應用的運行命令和參數配置信息，自動生成作業運行腳本，根據應用配置自動生成運行腳本的流程圖，如圖2所示。應用相關的參數和應用運行命令都是應用管理模塊提供的，應用管理模塊負責應用的添加、刪除，應用添加時，用戶界面中提示，填寫應用名稱，添加應用運行的命令，添加應用描述，添加應用參數的格式，添加應用參數。應用添加的流程圖如例圖3所示。