[發明專利]一種層次化集群作業管理系統及方法

有效

• 申請號: 202011109594.1
• 申請日: 2020-10-16
• 公開（公告）號: CN112261105B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 李謙;袁盾;劉康;賈磊
• 申請（專利權）人: 天津津航計算技術研究所
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/51
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 王雪芬

本發明涉及一種層次化集群作業管理系統，屬于計算機技術領域。本發明的集群作業管理系統能夠滿足用戶對計算平臺的基本需求，為用戶提供高效、可靠的應用服務，在集群環境出現節點異常的情況下能夠保證用戶作業的正確完成。系統可以使用戶實時查看進度，并通過設置權限，保證用戶數據的安全性。

技術領域

本發明屬于計算機技術領域，具體涉及一種層次化集群作業管理系統。

背景技術

集群是通過高性能網絡將多臺同構或者異構的計算機連接起來并協同完成特定任務的計算機群，它們對外部的表現就像一個系統在工作。

按照集群所使用的操作系統，集群可以分為windows集群和Linux集群，由于Linux操作系統的穩定性，目前已有的集群以Linux集群居多。

按照不同的用途，集群通常可以分為負載均衡集群、高可用性集群和超級計算集群。其中，負載均衡集群是希望集群中的每個節點能承擔與其處理能力相當的負載，使得每個節點都不會因為負載過高而崩潰，這種集群一般應用于擁有大量訪問的Web服務中；高可用性集群能提供不間斷的服務，這種集群一般應用于實時性很高的系統中；而超級計算集群一般用于處理復雜的計算問題。

按照集群對用戶作業的調度方式，集群又可以分為集中式調度集群和分布式調度集群。集中式調度集群中只有一臺節點有調度用戶作業的能力，所有的資源和作業都由該節點上配置的作業調度器進行調度；分布式調度集群中，有多個節點具有調度用戶作業的能力。集中式調度集群的特點是實現和控制簡單，但它存在擴展性比較差，容易引起單點失效而導致整個集群不可用的問題。分布式集群克服了集中式集群的缺點，可擴展性比較好，但是集群中多個調度器之間的交互和協同不易實現。

因此，集群可以由許多運行應用軟件的計算機組成，在集群作業管理軟件的統一調配下，協調工作，以并行方式完成所分配的計算任務，整個過程是自動化和智能化的，它代表了制作技術的發展方向。在集群應用模式下，為了能保證用戶快速得到正確的計算結果，需要解決如下問題：用戶的作業如何在集群環境下進行合理分發以充分利用集群資源進而快速獲得計算結果；集群中節點異常如何檢測以及在節點出現異常情況下如何保證用戶能得到正確的計算結果；如何為用戶提供更方便的交互操作；如何定價用戶的作業等。。

發明內容

(一)要解決的技術問題

本發明要解決的技術問題是：如何設計一種集群作業管理系統，滿足用戶對計算平臺的基本需求，為用戶提供高效、可靠的應用服務。

(二)技術方案

為了解決上述技術問題，本發明提供了一種層次化集群作業管理系統，包括作業分發模塊、作業管理模塊、資源管理模塊；

所述資源管理模塊用于管理和監控系統中的各節點的資源使用情況；

其中，將節點狀態定義為三種狀態，分別是free態、busy態、down態；其中，free態：又名空閑態，表示節點沒有任務在運行，可以承擔新的計算任務；busy態：又名忙碌態，表示節點正在執行任務，不能再承擔新的計算任務；down態：又名異常態，表示該節點已經和管理節點失去聯系，節點出現異常；

節點的free、down和busy三種狀態會在一定條件下相互轉換，具體如下：

(1)free態到busy態：當空閑節點承擔了新的計算任務，該節點的狀態就會從free態轉換為busy態；

(2)busy態到free態：當一個節點完成了所承擔的計算任務而又沒有新的計算任務需要完成，此時，該節點的狀態會轉換為free態；

(3)free態到down態，busy態到down態：在節點運行的過程中，可能出現死機、網絡不暢通、管理員強制節點為離線狀態等，都會使節點的狀態轉換為down狀態；