[發明專利]一種容器環境下的MPI應用性能優化方法及系統

在審

• 申請號: 202110366560.9
• 申請日: 2021-04-06
• 公開（公告）號: CN113076176A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 范述治;杜云飛;盧宇彤
• 申請（專利權）人: 中山大學
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 高冰

1.一種容器環境下的MPI應用性能優化方法，其特征在于，包括以下步驟：

接收來自用戶端的描述參數并進行參數檢查，申請對應的物理資源和請求啟動相應的容器；

記錄并接管容器的啟動過程，為每個位于同一物理主機上的容器子集申請共享的PIDnamespace、IPC namespace和共享內存；

確認容器就緒，判斷通信對端是否為共居進程，并按照預設規則進行MPI進程間通信。

2.根據權利要求1所述一種容器環境下的MPI應用性能優化方法，其特征在于，還包括：

輸出結果并反饋至用戶端。

3.根據權利要求2所述一種容器環境下的MPI應用性能優化方法，其特征在于，所述接收來自用戶端的描述參數并進行參數檢查，申請對應的物理資源和請求啟動相應的容器這一步驟，其具體包括：

接收來自用戶端的描述參數并檢查輸入、輸出、使用資源數量是否為有效參數；

確認到描述參數為有效參數，向集群作業調度器申請對應的物理資源；

物理資源獲批后按照用戶描述參數啟動相應的容器。

4.根據權利要求3所述一種容器環境下的MPI應用性能優化方法，其特征在于，所述描述參數包括MPI應用、作業的輸入文件、作業的輸出文件、作業要使用的總核數、容器數量和每個容器的進程數。

5.根據權利要求4所述一種容器環境下的MPI應用性能優化方法，其特征在于，所述確認容器就緒，判斷通信對端是否為共居進程，并按照預設規則進行MPI進程間通信這一步驟，其具體包括：

在MPI應用層面添加局部性檢測層并調用局部性檢測層的API，判斷通信對端是否為共居進程；

判斷到通信對端，將選擇共享內存信道進行通信；

判斷到通信對端為非共居進程，通過網絡棧來通信。

6.一種容器環境下的MPI應用性能優化系統，其特征在于，包括：

面向MPI的容器編排模塊，檢查參數的合法性，允許用戶啟動基于容器的MPI作業，為每個容器分配固定數量的資源，并在共居容器之間建立起共享內存信道；

面向Docker容器的組管理插件，用于分組管理容器，支持PID namespace與IPCnamespace的組內共享，記錄并接管容器的啟動過程；

面向MPI進程的局部性檢測插件，用于MPI進程檢測與識別共居容器以及共居進程，使MPI進程在與其他進程通信時選擇效率最高的信道進行數據交換。