[發(fā)明專利]一種基于申威平臺(tái)的高性能計(jì)算作業(yè)管理實(shí)現(xiàn)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410555905.5
• 申請(qǐng)日: 2014-10-20
• 公開（公告）號(hào): CN104268014A
• 公開（公告）日: 2015-01-07
• 發(fā)明（設(shè)計(jì)）人: 陳亮甫;吳登勇
• 申請(qǐng)（專利權(quán)）人: 山東超越數(shù)控電子有限公司
• 主分類號(hào): G06F9/46
• 分類號(hào): G06F9/46;H04L29/08
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 張靖

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)服務(wù)器通信技術(shù)領(lǐng)域，具體涉及一種基于申威平臺(tái)的高性能計(jì)算作業(yè)管理實(shí)現(xiàn)方法。

背景技術(shù)

高性能計(jì)算（HPC）集群通常是把一個(gè)作業(yè)分成若干可以并行執(zhí)行的子任務(wù)，使每個(gè)子任務(wù)分別在獨(dú)立的計(jì)算節(jié)點(diǎn)中執(zhí)行，從而提高集群中作業(yè)的執(zhí)行效率。其中，作業(yè)的提交和分配，需要專門的作業(yè)調(diào)度來完成。而目前，在國產(chǎn)化計(jì)算機(jī)服務(wù)器等自主領(lǐng)域，尤其是申威平臺(tái)中，其運(yùn)算性能還比較低，與國外先進(jìn)計(jì)算機(jī)系統(tǒng)相比還具有較大的差距。因此，在申威平臺(tái)中，采用高性能計(jì)算作業(yè)管理方法來提高其計(jì)算效率凸顯重要。

申威處理器或申威CPU，簡稱?“SW處理器”。SW處理器源自于DEC的Alpha?21164，其研制得到了國家“核高基”專項(xiàng)資金支持。在國家“核高基”重大專項(xiàng)支持下、采用自主指令集，具體負(fù)責(zé)研發(fā)的單位是江南計(jì)算機(jī)所屬于軍方研究機(jī)構(gòu)（總參56所），且具有完全自主知識(shí)產(chǎn)權(quán)的處理器系列。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：本發(fā)明提供一種基于申威平臺(tái)的高性能計(jì)算作業(yè)管理實(shí)現(xiàn)方法。

本發(fā)明所采用的技術(shù)方案為：

一種基于申威平臺(tái)的高性能計(jì)算作業(yè)管理實(shí)現(xiàn)方法，通過采用N臺(tái)申威計(jì)算機(jī)構(gòu)建集群，其中1臺(tái)申威計(jì)算機(jī)作為控制節(jié)點(diǎn)；剩余申威計(jì)算機(jī)作為計(jì)算節(jié)點(diǎn)；控制節(jié)點(diǎn)和各個(gè)計(jì)算節(jié)點(diǎn)通過PCIE總線擴(kuò)展高速通信設(shè)備接口，并通過光纜與交換機(jī)相連，以此構(gòu)建控制節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)間的高速通信網(wǎng)絡(luò)；在控制節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)中對(duì)MPI庫進(jìn)行修改編譯，使其能夠應(yīng)用于申威平臺(tái)，進(jìn)而部署MPI并行程序執(zhí)行環(huán)境；在控制節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)中對(duì)作業(yè)管理軟件進(jìn)行修改編譯，使其可以適用于申威平臺(tái)；用戶在控制節(jié)點(diǎn)中提交并行作業(yè)，通過作業(yè)管理軟件將作業(yè)分發(fā)于各個(gè)計(jì)算節(jié)點(diǎn)，各個(gè)計(jì)算節(jié)點(diǎn)執(zhí)行完相關(guān)任務(wù)后，由控制節(jié)點(diǎn)完成相關(guān)的處理。?

所述方法執(zhí)行步驟如下：

1）通過申威計(jì)算機(jī)的PCIE總線擴(kuò)展高速通信設(shè)備接口，并且通過光纜與交換機(jī)相連，完成數(shù)據(jù)通信網(wǎng)絡(luò)的構(gòu)建；

2）在控制節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)中對(duì)MPI庫進(jìn)行修改編譯，使其能夠應(yīng)用于申威平臺(tái)，進(jìn)而部署MPI并行程序執(zhí)行環(huán)境；

3）在控制節(jié)點(diǎn)中通過修改作業(yè)管理軟件，部署可用于申威平臺(tái)的專用戶服務(wù)器（server）、作業(yè)調(diào)度器（sched）、作業(yè)執(zhí)行器（mom）；

4）在計(jì)算節(jié)點(diǎn)中修改專用作業(yè)管理軟件，部署可用于申威平臺(tái)的作業(yè)執(zhí)行器（mom）；

5）用戶在控制節(jié)點(diǎn)中通過采用qsub命令將作業(yè)提交，用戶服務(wù)器（server）接收到作業(yè)后，通過作業(yè)調(diào)度器（sched）將作業(yè)通過作業(yè)執(zhí)行器（mom）分發(fā)給各個(gè)計(jì)算節(jié)點(diǎn)，以此來提高作業(yè)的運(yùn)行效率；

6）通過采用qstat命令，查看各個(gè)計(jì)算節(jié)點(diǎn)中的作業(yè)執(zhí)行情況，進(jìn)而將新的作業(yè)分配給作業(yè)執(zhí)行較少的計(jì)算節(jié)點(diǎn)，進(jìn)而提高執(zhí)行效率。?

所述高速通信設(shè)備接口為infiniband接口，所述交換機(jī)為infiniband交換機(jī)。?

注：InfiniBand架構(gòu)是一種支持多并發(fā)鏈接的“轉(zhuǎn)換線纜”技術(shù)，在這種技術(shù)中，每種鏈接都可以達(dá)到2.5?Gbps的運(yùn)行速度。這種架構(gòu)在一個(gè)鏈接的時(shí)候速度是500?MB/秒，四個(gè)鏈接的時(shí)候速度是2?GB/秒，12個(gè)鏈接的時(shí)候速度可以達(dá)到6?GB?/秒。

MPI是多點(diǎn)接口(Multi?Point?Interface)的簡稱，是西門子公司開發(fā)的用于PLC之間通訊的保密的協(xié)議。

本發(fā)明的有益效果為：本發(fā)明一種基于申威平臺(tái)的高性能計(jì)算作業(yè)管理實(shí)現(xiàn)方法，具有設(shè)計(jì)科學(xué)、使用方便等優(yōu)點(diǎn)，可在國產(chǎn)化計(jì)算機(jī)服務(wù)器領(lǐng)域尤其是申威平臺(tái)中實(shí)現(xiàn)，便于推廣使用，并可以應(yīng)用于航空、衛(wèi)星等領(lǐng)域。

附圖說明

圖1為本發(fā)明的高性能計(jì)算結(jié)構(gòu)框圖；

圖2為本發(fā)明的作業(yè)管理工作流程圖。

具體實(shí)施方式

下面參照附圖所示，通過具體實(shí)施方式對(duì)本發(fā)明進(jìn)一步說明：