[發(fā)明專利]基于作業(yè)調(diào)度軟件和并行文件系統(tǒng)的高性能服務(wù)系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010810913.5
• 申請日: 2020-08-13
• 公開（公告）號: CN111679901A
• 公開（公告）日: 2020-09-18
• 發(fā)明（設(shè)計）人: 陳煒;朱旨昂;闞蘇立;呂興祥;孫祥;徐曉嵐
• 申請（專利權(quán)）人: 南京江北新區(qū)科技投資集團(tuán)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京卓嵐智財知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11624
• 代理人: 蔣真

1.一種基于作業(yè)調(diào)度軟件和并行文件系統(tǒng)的高性能服務(wù)系統(tǒng)，其特征在于：包括作業(yè)調(diào)度單元（100）、并行文件單元（200）和高性能計算單元（300）；所述作業(yè)調(diào)度單元（100）采用基于ibm的lsf作業(yè)調(diào)度軟件，用于支持跨機群資源共享和動態(tài)資源發(fā)現(xiàn)、預(yù)約和分配；所述并行文件單元（200）采用GPFS共享文件系統(tǒng)，用于保證在資源組內(nèi)的所有節(jié)點可以并行訪問整個文件系統(tǒng)；所述高性能計算單元（300）用于通過多處理器或者某一集群中幾臺組織的幾臺計算機進(jìn)行計算;所述作業(yè)調(diào)度單元（100）包括業(yè)務(wù)流程調(diào)度管理模塊（101）、作業(yè)運行控制模塊（102）、資源管理模塊（103）和調(diào)度數(shù)據(jù)模塊（104）；所述業(yè)務(wù)流程調(diào)度管理模塊（101）用于管理調(diào)度計劃和提交作業(yè)流程；所述作業(yè)運行控制模塊（102）用于將承擔(dān)不同處理任務(wù)的作業(yè)合理的派發(fā)到各個計算機上去運行；所述資源管理模塊（103）用于收集各個計算機節(jié)點的負(fù)載信息并將結(jié)果反饋給作業(yè)運行控制機；所述調(diào)度數(shù)據(jù)模塊（104）用于存儲作業(yè)記錄、對作業(yè)進(jìn)行實時記錄和事后分析;所述業(yè)務(wù)流程調(diào)度管理模塊（101）包括節(jié)點負(fù)載量模塊（1011）和作業(yè)優(yōu)先級模塊（1012）；所述節(jié)點負(fù)載量模塊（1011）用于在一定的時間間隔內(nèi)計算每個節(jié)點的負(fù)載量并將其傳送給調(diào)度系統(tǒng)；所述作業(yè)優(yōu)先級模塊（1012）用于計算作業(yè)執(zhí)行順序的優(yōu)先級;所述節(jié)點負(fù)載量模塊（1011）的計算公式為：

；

其中，L_obs,t為節(jié)點1上的絕對負(fù)載量、μ_t為節(jié)點1的處理能力系數(shù)、U_cpu為節(jié)點1上CPU利用率、P_oct,t為節(jié)點1上的活動進(jìn)程數(shù)、Node為集群系統(tǒng)中的節(jié)點總數(shù)、L_t為節(jié)點1上的相對負(fù)載量;所述作業(yè)優(yōu)先級模塊（1012）的計算公式為：

Pj[i]=Po[i]+N*Twait；

其中，Po[i]為作業(yè)提交時指定的優(yōu)先級，Twait為作業(yè)在隊列中等待的時間，N為常數(shù)因子，隨著等待時間的增加，作業(yè)優(yōu)先級動態(tài)的增加，直到增加到閾值，即最高優(yōu)先級。

2.根據(jù)權(quán)利要求1所述的基于作業(yè)調(diào)度軟件和并行文件系統(tǒng)的高性能服務(wù)系統(tǒng)，其特征在于：所述并行文件單元（200）包括文件存儲模塊（201）、GPFS服務(wù)模塊（202）和客戶端模塊（203）；所述文件存儲模塊（201）用于通過SAN環(huán)境將存儲劃分給服務(wù)器節(jié)點；所述GPFS服務(wù)模塊（202）用于將存儲磁盤進(jìn)行配置并格式化形成最終的GPFS并行文件系統(tǒng)格式；所述客戶端模塊（203）用于連通以太網(wǎng)與服務(wù)器節(jié)點來共享并行文件系統(tǒng)。

3.根據(jù)權(quán)利要求2所述的基于作業(yè)調(diào)度軟件和并行文件系統(tǒng)的高性能服務(wù)系統(tǒng)，其特征在于：所述文件存儲模塊（201）包括磁盤模塊（2011）、網(wǎng)絡(luò)共享磁盤模塊（2012）和GPFS文件模塊（2013）；所述磁盤模塊（2011）為基礎(chǔ)物理磁盤；所述網(wǎng)絡(luò)共享磁盤模塊（2012）用于提供集群式的服務(wù)；所述GPFS文件模塊（2013）用于將私有協(xié)議通過網(wǎng)絡(luò)共享給所有的GPFS客戶端。

4.根據(jù)權(quán)利要求1所述的基于作業(yè)調(diào)度軟件和并行文件系統(tǒng)的高性能服務(wù)系統(tǒng)，其特征在于：所述高性能計算單元（300）包括計算模塊（301）、管理模塊（302）、存儲模塊（303）、網(wǎng)絡(luò)模塊（304）和軟件模塊（305）；所述計算模塊（301）用于處理數(shù)據(jù)密集型的計算工作；所述管理模塊（302）用于實時監(jiān)控和管理計算平臺的運行性能；所述存儲模塊（303）用于提供本地存儲和并行存儲服務(wù)；所述網(wǎng)絡(luò)模塊（304）用于管理計算網(wǎng)絡(luò)；所述軟件模塊（305）用于管理計算服務(wù)系中的軟件。

5.一種基于作業(yè)調(diào)度軟件和并行文件系統(tǒng)的高性能服務(wù)系統(tǒng)，其特征在于：包括處理器、存儲器以及存儲在存儲器中并在處理器上運行的計算機程序，處理器用于執(zhí)行計算機程序時實現(xiàn)如權(quán)利要求1-4中任一所述的基于作業(yè)調(diào)度軟件和并行文件系統(tǒng)的高性能服務(wù)系統(tǒng)。

6.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于：所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-4中任一所述的基于作業(yè)調(diào)度軟件和并行文件系統(tǒng)的高性能服務(wù)系統(tǒng)。