[發(fā)明專利]一種構(gòu)建slurm調(diào)度并行計算集群的方法

有效

• 申請?zhí)枺?/td>: 202210383566.1
• 申請日: 2022-04-12
• 公開（公告）號: CN114745385B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計）人: 王建
• 申請（專利權(quán)）人: 吉林大學(xué)
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/1001;H04L67/1095;H04L67/60;H04L9/40
• 代理公司: 成都宏田知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51337
• 代理人: 鐘隆輝

本發(fā)明涉及一種構(gòu)建slurm調(diào)度并行計算集群的方法。計算集群的構(gòu)建方法如下：步驟一：硬件準(zhǔn)備；需要兩臺或者兩臺以上的計算設(shè)備，上限取決于交換機(jī)端口數(shù)，需要給每臺機(jī)器安裝完畢系統(tǒng)，正確連接交換機(jī)；步驟二：開機(jī)后，按照實際要求，修改hostname并設(shè)定實際的IP址并記錄網(wǎng)絡(luò)信息；步驟三：選取其中一個為master主機(jī)，master節(jié)點兩網(wǎng)卡，其中一個接入集群專屬交換機(jī)，另外一個負(fù)載用戶登錄；步驟四：組網(wǎng)成功即并行計算集群組建成功，無需任何Linux操作技能。只需錄入一次機(jī)器網(wǎng)絡(luò)地址。依照操作手冊。運(yùn)行hpc4youtoolkit各模塊。復(fù)制粘貼屏幕提示指令即可完成科學(xué)計算集群組建。集群模式，可以有效提高現(xiàn)有硬件資源的利用效率。降低硬件成本。簡化科學(xué)計算實施流程。

技術(shù)領(lǐng)域

本發(fā)明涉及一種科學(xué)計算領(lǐng)域高性能并行計算集群。具體是一種構(gòu)建slurm調(diào)度并行計算集群的方法。

背景技術(shù)

高性能計算(High?Performance?Computing。HPC)是改造世界的第三大科學(xué)研究方法。是大規(guī)模科學(xué)計算和工程計算的必備基礎(chǔ)設(shè)施。是科技創(chuàng)新的重要手段。在信息服務(wù)、工業(yè)仿真、科學(xué)研究、生物信息、基因測序、石油勘探、航天航空等眾多領(lǐng)域發(fā)揮著不可替代的作用。是研究和解決各領(lǐng)域挑戰(zhàn)性問題的重要手段。已上升為國家戰(zhàn)略。是國家綜合國力和科技創(chuàng)新力的重要標(biāo)志。也是世界大國投入巨資爭奪科學(xué)技術(shù)制高點的領(lǐng)域之一。截止2021年底，科技部批準(zhǔn)建立的國家超級計算中心共有9家，分別是國家超級計算天津中心、國家超級計算廣州中心、國家超級計算深圳中心、國家超級計算長沙中心、國家超級計算濟(jì)南中心、國家超級計算無錫中心、國家超級計算鄭州中心、國家超級計算昆山中心、國家超級計算成都中心。

在國家級超算中心穩(wěn)步發(fā)展的同時，隨著硬件成本的進(jìn)一步下探和通用計算機(jī)設(shè)備運(yùn)算能力進(jìn)一步提升，考慮到不同研究領(lǐng)域計算場景的特殊性，越來越多的研究所、高校科研團(tuán)隊、課題組，開始自購或者自建小規(guī)模并行計算集群，以滿足研究之需。

當(dāng)前，很多高性能計算集群都采用Linux操作系統(tǒng)。其運(yùn)維工作比較繁瑣，尤其對剛?cè)腴T者非常困難。自己搭建計算集群，至少涉及到如下層面：僅root用戶密鑰鑒權(quán)認(rèn)證，至少在master機(jī)器需要編輯openssh配置文件5次，而后在任何一臺計算節(jié)點，修改密鑰和配置文件一次，并回傳各計算節(jié)點公鑰到master機(jī)器并完成合并。指令版vi編輯器都不會用的微軟用戶，是難以完成指令模式下Linux系統(tǒng)配置文件修改的。更別說在Linux機(jī)器下載登錄所有計算節(jié)點，完成其他Linux機(jī)器的修改配置，并把配置文件，從master機(jī)器在指令模式分發(fā)到其他Linux機(jī)器。況且openssh屬于系統(tǒng)核心配置文件，修改錯誤，意味著無法登錄計算服務(wù)器，新手可能選擇再次重新安裝系統(tǒng)，浪費(fèi)時間，也有極大可能刷掉重要數(shù)據(jù)。配置用戶信息鑒權(quán)系統(tǒng)，NIS,又涉及域名、可信域等信息系統(tǒng)概念，更涉及到另一套密鑰對的配置和分發(fā)。當(dāng)然還有更麻煩的，DHCP服務(wù)器以及客戶端，涉及TCP/IP網(wǎng)絡(luò)知識和實際操作技能，子網(wǎng)掩碼計算、網(wǎng)關(guān)設(shè)定；亦需要針對每一個計算節(jié)點做合理的配置，使得DHCP客戶端可以順利工作；文件服務(wù)器以及網(wǎng)絡(luò)共享系統(tǒng)配置及其優(yōu)化；slurm所依賴的munge鑒權(quán)系統(tǒng)調(diào)優(yōu)設(shè)定，涉及隨機(jī)數(shù)以及另外一種密鑰對設(shè)定和后續(xù)的密鑰分發(fā)；Linux工作站文件權(quán)限、用戶群組管理，需Linux系統(tǒng)員操作技能；多Linux機(jī)器遠(yuǎn)程指令操控等等Linux平臺運(yùn)維技能。

對于絕大多數(shù)科技工作者，電腦技能僅僅局限于熟悉Word、PowerPoint、Excel、PhotoShop等辦公套件，Linux圖形桌面都不會用，更何談在Linux平臺完成如上各種復(fù)雜的運(yùn)維操作呢？

現(xiàn)有商業(yè)解決方案，價格昂貴，高校科研課題組無法承擔(dān)。開源免費(fèi)方案比如OpenHPC,Rocks?Cluster,或者IBM的xCat方案，使用手冊由計算機(jī)專業(yè)人士編撰。由于手冊過于專業(yè)，沒有一定的Linux運(yùn)維經(jīng)驗和計算機(jī)知識，這種手冊使用起來如同天書。

發(fā)明內(nèi)容