[發(fā)明專利]一種容器環(huán)境下的MPI應用性能優(yōu)化方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110366560.9
• 申請日: 2021-04-06
• 公開（公告）號: CN113076176A
• 公開（公告）日: 2021-07-06
• 發(fā)明（設計）人: 范述治;杜云飛;盧宇彤
• 申請（專利權(quán)）人: 中山大學
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 深圳市創(chuàng)富知識產(chǎn)權(quán)代理有限公司 44367
• 代理人: 高冰

本發(fā)明公開了一種容器環(huán)境下的MPI應用性能優(yōu)化方法及系統(tǒng)，該方法包括：接收來自用戶端的描述參數(shù)并進行參數(shù)檢查，申請對應的物理資源和請求啟動相應的容器；記錄并接管容器的啟動過程，為每個位于同一物理主機上的容器子集申請共享的PID namespace、IPC namespace和共享內(nèi)存；確認容器就緒，判斷通信對端是否為共居進程，并按照預設規(guī)則進行MPI進程間通信。該系統(tǒng)包括：面向MPI的容器編排模塊、面向Docker容器的組管理插件和面向MPI進程的局部性檢測插件。通過使用本發(fā)明，實現(xiàn)提高容器環(huán)境下的MPI應用運行效率。本發(fā)明作為一種容器環(huán)境下的MPI應用性能優(yōu)化方法及系統(tǒng)，可廣泛應用于容器和高性能計算領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及容器和高性能計算領(lǐng)域，尤其涉及一種容器環(huán)境下的MPI應用性能優(yōu)化方法及系統(tǒng)。

背景技術(shù)

容器(Container)技術(shù)借助操作系統(tǒng)內(nèi)核在資源管理和命名空間方面的特性，以微小的性能損失為代價，提供了輕量級的、隔離的操作系統(tǒng)環(huán)境，配合容器的鏡像機制，可以在不同的物理機器之間實現(xiàn)軟件棧的快速遷移和部署。目前容器技術(shù)已在各種規(guī)模的軟件工程的研發(fā)、測試、部署等環(huán)節(jié)中有重要應用。

消息傳遞接口(Message Passing Interface,MPI)是高性能計算領(lǐng)域中使用最廣泛的通信中間件，它的主要優(yōu)勢體現(xiàn)在通信效率方面，許多大型的科學計算軟件都使用MPI作為底層通信組件。傳統(tǒng)高性能計算的物理集群由成百上千臺多核節(jié)點組成，MPI應用會根據(jù)使用的CPU核數(shù)創(chuàng)建對應數(shù)量的MPI進程，然后在進程間交換數(shù)據(jù)。在物理集群中，位于某一主機上的MPI進程會檢測與識別其他MPI進程是否與其位于同一主機(位于同一物理主機上的進程稱為共居進程)，如果某兩個進程是共居進程，那么二者在通信時會通過共享內(nèi)存來交換數(shù)據(jù)；對于不在同一物理主機上的進程，二者的通信主要通過網(wǎng)卡來交換數(shù)據(jù)。共居進程之間的數(shù)據(jù)交換效率要大大高于非共居進程之間的數(shù)據(jù)交換效率。

隨著高性能集群用戶的需求越來越多樣、現(xiàn)代大型科學計算軟件的安裝、配置、運行環(huán)境管理越來越復雜，在物理集群中維護軟件環(huán)境變得非常棘手。容器技術(shù)在HPC環(huán)境下的應用因此受到越來越多的關(guān)注。然而，由于容器的隔離特性，每個容器中的進程都認為自己處于容器創(chuàng)造出來的“虛擬主機”中，即使兩個容器運行在同一個物理主機上，容器中的MPI進程也無法檢測和識別到其他容器中的MPI進程實際上是與自己在物理上共居的，從而導致位于同一物理主機上的不同容器內(nèi)的MPI進程也會通過網(wǎng)卡來進行通信。經(jīng)過測試，這種行為會大幅降低通信密集型的MPI應用的整體運行性能，浪費計算資源，拉低計算效率。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明的目的是提供一種容器環(huán)境下的MPI應用性能優(yōu)化方法及系統(tǒng)，可以在高性能計算環(huán)境下啟動基于容器的MPI作業(yè)，在充分利用容器技術(shù)便利性的同時，性能損失更小。

本發(fā)明所采用的第一技術(shù)方案是：一種容器環(huán)境下的MPI應用性能優(yōu)化方法，包括以下步驟：

接收來自用戶端的描述參數(shù)并進行參數(shù)檢查，申請對應的物理資源和請求啟動相應的容器；

記錄并接管容器的啟動過程，為每個位于同一物理主機上的容器子集申請共享的PID namespace、IPC namespace和共享內(nèi)存；

確認容器就緒，判斷通信對端是否為共居進程，并按照預設規(guī)則進行MPI進程間通信。

進一步，還包括：

輸出結(jié)果并反饋至用戶端。

進一步，所述接收來自用戶端的描述參數(shù)并進行參數(shù)檢查，申請對應的物理資源和請求啟動相應的容器這一步驟，其具體包括：

接收來自用戶端的描述參數(shù)并檢查輸入、輸出、使用資源數(shù)量是否為有效參數(shù)；

確認到描述參數(shù)為有效參數(shù)，向集群作業(yè)調(diào)度器申請對應的物理資源；