[發(fā)明專利]一種基于高速互連網(wǎng)絡(luò)的MPI進(jìn)程管理接口實(shí)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110083139.7
• 申請(qǐng)日: 2021-01-21
• 公開(kāi)（公告）號(hào): CN112929461B
• 公開(kāi)（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 盧凱;張昆;謝旻;韓昊;董勇;王睿伯;張偉;遲萬(wàn)慶;周恩強(qiáng);張文喆;李佳鑫;鄔會(huì)軍;吳振偉
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍國(guó)防科技大學(xué)
• 主分類號(hào): H04L61/50
• 分類號(hào): H04L61/50;H04L41/0894;H04L12/02
• 代理公司: 湖南兆弘專利事務(wù)所(普通合伙) 43008
• 代理人: 譚武藝

本發(fā)明公開(kāi)了一種基于高速互連網(wǎng)絡(luò)的MPI進(jìn)程管理接口實(shí)現(xiàn)方法，包括并行程序獲取全部進(jìn)程通信地址的下述步驟：1)執(zhí)行鍵值數(shù)據(jù)庫(kù)初始化；2)通過(guò)靜態(tài)通信規(guī)則生成所有MPI進(jìn)程的通信地址信息；3)將所有通信地址信息保存至結(jié)點(diǎn)自身的鍵值數(shù)據(jù)庫(kù)中；4)并行程序通過(guò)靜態(tài)通信規(guī)則創(chuàng)建自身進(jìn)程的通信端口；5)MPI進(jìn)程通過(guò)鍵值數(shù)據(jù)庫(kù)獲取其他需要進(jìn)程通信的MPI進(jìn)程的通信地址信息。本發(fā)明能夠使得應(yīng)用程序啟動(dòng)過(guò)程中不需要經(jīng)歷全局?jǐn)?shù)據(jù)交換階段，減少了全局?jǐn)?shù)據(jù)交換的網(wǎng)絡(luò)開(kāi)銷時(shí)間，從而加快大規(guī)模并行應(yīng)用程序的啟動(dòng)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)的高速互連網(wǎng)絡(luò)，具體涉及一種基于高速互連網(wǎng)絡(luò)的MPI進(jìn)程管理接口實(shí)現(xiàn)方法。

背景技術(shù)

消息傳遞接口(Message Passing Interface，MPI)是一種采用信息傳遞方式的并行應(yīng)用程序通信接口，包括協(xié)議和語(yǔ)義說(shuō)明，是當(dāng)前并行計(jì)算應(yīng)用的工業(yè)標(biāo)準(zhǔn)。MPI支持點(diǎn)對(duì)點(diǎn)通信操作和全局通信操作。采用MPI接口編寫(xiě)的并行應(yīng)用程序，一般可以稱為MPI程序。

進(jìn)程是MPI程序運(yùn)行的基本單位。根據(jù)程序運(yùn)行規(guī)模的不同，MPI程序可以分布在多個(gè)不同的計(jì)算結(jié)點(diǎn)上。MPI程序中的每個(gè)進(jìn)程通過(guò)一個(gè)全局的Rank號(hào)來(lái)標(biāo)識(shí)。

為了MPI程序的運(yùn)行，需要不同的MPI進(jìn)程進(jìn)行信息交換。具體來(lái)講，是每個(gè)進(jìn)程需要獲取和其通信的其他進(jìn)程的通信地址信息。

進(jìn)程之間通信地址信息的部署是在應(yīng)用程序啟動(dòng)階段通過(guò)進(jìn)程管理接口定義的全局?jǐn)?shù)據(jù)交換操作完成的。進(jìn)程管理接口是一類信息管理接口，用來(lái)實(shí)現(xiàn)MPI進(jìn)程與進(jìn)程管理器之間的耦合。在高性能計(jì)算機(jī)系統(tǒng)中，啟動(dòng)一個(gè)MPI程序的過(guò)程如下：用戶提交作業(yè)到系統(tǒng)中，系統(tǒng)為MPI程序分配相應(yīng)的計(jì)算結(jié)點(diǎn)資源，而后在計(jì)算結(jié)點(diǎn)上實(shí)例化MPI程序進(jìn)程，進(jìn)程在系統(tǒng)中利用Rank號(hào)進(jìn)行區(qū)分標(biāo)記。系統(tǒng)為作業(yè)的每個(gè)MPI進(jìn)程分配一個(gè)全局唯一的Rank號(hào)。在每個(gè)計(jì)算結(jié)點(diǎn)上初始化MPI進(jìn)程時(shí)，進(jìn)程獲得系統(tǒng)動(dòng)態(tài)分配的通信地址信息。進(jìn)程管理接口在每個(gè)計(jì)算結(jié)點(diǎn)上維護(hù)了一個(gè)鍵值數(shù)據(jù)庫(kù)，計(jì)算結(jié)點(diǎn)收集本地此作業(yè)的MPI 進(jìn)程通信地址信息，每個(gè)MPI進(jìn)程將自身的通信地址信息存放至鍵值數(shù)據(jù)庫(kù)，利用進(jìn)程管理接口定義的交換操作執(zhí)行位于不同結(jié)點(diǎn)上的進(jìn)程間的數(shù)據(jù)信息交換，并將全體數(shù)據(jù)信息保存至結(jié)點(diǎn)自身的鍵值數(shù)據(jù)庫(kù)中。當(dāng)MPI進(jìn)程需要同其他進(jìn)程進(jìn)行通信時(shí)，可以通過(guò)對(duì)鍵值數(shù)據(jù)庫(kù)的查詢獲取其他MPI進(jìn)程的通信地址信息。

高速互連網(wǎng)絡(luò)TH-Express是國(guó)防科技大學(xué)自主研制的高性能互連網(wǎng)絡(luò)系統(tǒng)，在“天河二號(hào)”等高性能并行計(jì)算機(jī)系統(tǒng)中得到了應(yīng)用，具有同期國(guó)際先進(jìn)水平的網(wǎng)絡(luò)通信性能。自主高速互連網(wǎng)絡(luò)由主機(jī)接口芯片(Network Interface Chip，NIC)和互連交換芯片(Network R outer Chip，NRC)兩種專用芯片組成。NRC采用高階路由結(jié)構(gòu)，可以構(gòu)建光電混合的多種互連拓?fù)浣Y(jié)構(gòu)，而NIC則在主機(jī)內(nèi)為各種系統(tǒng)和應(yīng)用軟件提供互連通信服務(wù)，并利用NRC 實(shí)現(xiàn)和全系統(tǒng)各個(gè)結(jié)點(diǎn)之間的數(shù)據(jù)傳輸。

UCX是一個(gè)社區(qū)協(xié)同的公共通信接口項(xiàng)目，其主要設(shè)計(jì)目標(biāo)包括可移植性，面向未來(lái)互連和體系結(jié)構(gòu)的支持能力，以及產(chǎn)品級(jí)質(zhì)量的實(shí)現(xiàn)代碼等。UCX采用層次式實(shí)現(xiàn)結(jié)構(gòu)，既有面向各種高速互連網(wǎng)絡(luò)的底層傳輸層接口定義，又有面向多種應(yīng)用通信需求的高層協(xié)議接口定義。當(dāng)前UCX已支持主流的高速互連網(wǎng)絡(luò)，也支持當(dāng)前流行的GPU計(jì)算加速器結(jié)構(gòu)等，這些不同的互連網(wǎng)絡(luò)和計(jì)算加速器支持模塊都可以包含在一個(gè)UCX實(shí)現(xiàn)系統(tǒng)中，通過(guò)運(yùn)行時(shí)對(duì)環(huán)境的檢測(cè)，自動(dòng)選擇使用最優(yōu)的數(shù)據(jù)傳輸模塊。基于高速互連網(wǎng)絡(luò) TH-Express，實(shí)現(xiàn)了UCX通信接口。

隨著高性能計(jì)算機(jī)不斷發(fā)展，系統(tǒng)規(guī)模日益增加，系統(tǒng)內(nèi)包含的結(jié)點(diǎn)數(shù)，處理器核數(shù)擴(kuò)展到了新的水平。隨著系統(tǒng)規(guī)模的增加，原有的通過(guò)進(jìn)程通信接口數(shù)據(jù)進(jìn)行通信地址信息交換的方式在可擴(kuò)展性方面遇到較大的挑戰(zhàn)。