[發明專利]一種面向MPI的Serverless并行計算方法及其系統

在審

• 申請號: 202210837029.X
• 申請日: 2022-07-15
• 公開（公告）號: CN115357375A
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 袁雨馨;史驍;趙曉芳
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;張燕華

1.一種面向MPI的Serverless并行計算方法，其特征在于，包括：

動態地址映射步驟，建立函數名與對應的網絡地址之間的映射關系，并對Serverless并行計算平臺的普通函數與并行函數統一編制；

計算模型構建步驟，在該Serverless并行計算平臺中構建并行函數管理運行時環境、并行函數地址訪問機制、并行函數調度機制，并通過函數副本機制實現對并行計算模型的支持，將函數副本集合內的各函數與各并行計算進程建立對應關系，以利于并行計算進程的執行；及

并行計算實現步驟，由該Serverless并行計算平臺實現MPI并行計算進程。

2.根據權利要求1所述的面向MPI的Serverless并行計算方法，其特征在于，所述動態地址映射步驟中，進一步包括：

構建地址映射表，建立函數名與對應的網絡地址之間的映射關系；及

構建地址映射管理器，對地址映射表的內容進行管理。

3.根據權利要求2所述的面向MPI的Serverless并行計算方法，其特征在于，所述構建地址映射管理器步驟中，進一步包括：

映射關系更新步驟，當函數副本內容發生更新時，地址映射管理器根據函數副本更新內容，對地址映射表的內容進行更新；

映射關系查詢步驟，當并行函數副本運行時環境查詢函數副本的地址映射關系時，地址映射管理器對地址映射表的內容進行查詢，封裝成特定消息格式；

映射關系同步步驟，當地址映射表以分布式形式進行管理時，各分布式組件對地址映表映射的內容進行同步；及

映射關系恢復步驟，當地址映射表的內容丟失時，地址映射管理器通過調用Serverless并行計算平臺，對地址映射表的內容進行恢復。

4.根據權利要求1所述的面向MPI的Serverless并行計算方法，其特征在于，所述計算模型構建步驟，進一步包括：

對并行函數的管理進行封裝，支持對并行函數進行生命周期的管理操作，并將相應操作轉換為函數副本的管理操作；

對函數副本的地址進行標識管理，為函數副本建立雙層結構，第一層為基于函數名的身份標識，第二層為基于函數地址的身份標識；及

并行函數調度根據監控所得集群資源信息，同并行函數的調度需求進行匹配，在滿足各并行函數資源需求時，最大化同一并行任務下的各并行函數的親和性得分。

5.根據權利要求1所述的面向MPI的Serverless并行計算方法，其特征在于，該Serverless并行計算平臺包括客戶端、控制節點、計算節點及函數倉庫，該控制節點包括網關、控制器、監控器及擴縮容管理器，該計算節點包括執行器和容器；所述并行計算實現步驟，進一步包括：

MPI并行程序函數式開發步驟：

(1)根據帶有MPI運行時環境的Serverless模板編寫MPI函數處理代碼，并對函數運行時環境進行配置；及

(2)提交函數進行自動化構建，將MPI環境一同打包為容器鏡像，并推送到步驟(1)中函數運行時環境所配置的鏡像倉庫地址中，以方便集群中任意節點下載該鏡像。