[發明專利]基于作業調度軟件和并行文件系統的高性能服務系統

在審

• 申請號: 202010810913.5
• 申請日: 2020-08-13
• 公開（公告）號: CN111679901A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 陳煒;朱旨昂;闞蘇立;呂興祥;孫祥;徐曉嵐
• 申請（專利權）人: 南京江北新區科技投資集團有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙) 11624
• 代理人: 蔣真

本發明涉及高性能計算技術領域，具體地說，涉及一種基于作業調度軟件和并行文件系統的高性能服務系統.包括作業調度單元、并行文件單元和高性能計算單元；作業調度單元采用基于ibm的lsf作業調度軟件，用于支持跨機群資源共享和動態資源發現、預約和分配；并行文件單元采用GPFS共享文件系統，用于保證在資源組內的所有節點可以并行訪問整個文件系統；高性能計算單元用于通過多處理器或者某一集群中幾臺組織的幾臺計算機進行計算。本發明設計可以統一管理和調度集群的軟硬件資源，提高系統利用率和吞吐率，同時可以支持并行應用和串行應用，實現計算服務的高性能。

技術領域

本發明涉及高性能計算技術領域，具體地說，涉及一種基于作業調度軟件和并行文件系統的高性能服務系統。

背景技術

高性能計算指通常使用很多處理器或者某一集群中組織的幾臺計算機的計算系統和環境，其目的是為了在較短時間內少費而多用地處理數據密集型的計算工作。高性能集群運行中通常會把一個大問題按一定的規則分為多個子問題，在集群內的不同節點上分別進行計算，再將計算結果處理合并為最終結果。這些子問題的計算可以并行完成，且在計算過程中需協同工作。相對于大數據計算技術的發展，不具備可靠的集群調度管理系統的高性能計算的已經無法隨心地應對大數據的規模性、變化性、多樣性、粘性、真實性等帶來的巨大挑戰，同時集群內過多的子問題并行處理也不能保證達到所需的計算速度，大大降低了高性能計算的高效性。

發明內容

本發明的目的在于提供一種基于作業調度軟件和并行文件系統的高性能服務系統，以解決上述背景技術中提出的問題。

為實現上述技術問題的解決，本發明的目的之一在于，提供一種基于作業調度軟件和并行文件系統的高性能服務系統，包括作業調度單元、并行文件單元和高性能計算單元；所述作業調度單元采用基于ibm的lsf作業調度軟件，用于支持跨機群資源共享和動態資源發現、預約和分配；所述并行文件單元采用GPFS共享文件系統，用于保證在資源組內的所有節點可以并行訪問整個文件系統；所述高性能計算單元用于通過多處理器或者某一集群中幾臺組織的幾臺計算機進行計算。

作為本技術方案的進一步改進，所述作業調度單元包括業務流程調度管理模塊、作業運行控制模塊、資源管理模塊和調度數據模塊；所述業務流程調度管理模塊用于管理調度計劃和提交作業流程；所述作業運行控制模塊用于將承擔不同處理任務的作業合理的派發到各個計算機上去運行；所述資源管理模塊用于收集各個計算機節點的負載信息并將結果反饋給作業運行控制機；所述調度數據模塊用于存儲作業記錄、對作業進行實時記錄和事后分析。

作為本技術方案的進一步改進，所述業務流程調度管理模塊包括節點負載量模塊和作業優先級模塊；所述節點負載量模塊用于在一定的時間間隔內計算每個節點的負載量并將其傳送給調度系統；所述作業優先級模塊用于計算作業執行順序的優先級。

作為本技術方案的進一步改進，所述節點負載量模塊的計算公式為：

；

其中，L_obs,t為節點1上的絕對負載量、μ_t為節點1的處理能力系數、U_cpu為節點1上CPU利用率、P_oct,t為節點1上的活動進程數、Node為集群系統中的節點總數、L_t為節點1上的相對負載量。

作為本技術方案的進一步改進，所述作業優先級模塊的計算公式為：

Pj[i]=Po[i]+N*Twait；

其中，Po[i]為作業提交時指定的優先級，Twait為作業在隊列中等待的時間，N為常數因子，隨著等待時間的增加，作業優先級動態的增加，直到增加到閾值，即最高優先級。