[發明專利]一種服務器集群及其深度學習的集合通信系統和方法

在審

• 申請號: 202110866054.6
• 申請日: 2021-07-29
• 公開（公告）號: CN113900793A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 陳堯;趙謙謙;郭雷;闞宏偉
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 楊威

1.一種深度學習的集合通信方法，其特征在于，應用于環形通信連接的N個FPGA中的任一FPGA中，N為不小于2的正整數，包括：

從與自身連接的各個GPU中讀取待處理數據塊，并對各個所述待處理數據塊進行歸約操作，得到歸約操作結果；

基于自身得到的所述歸約操作結果以及其他各個FPGA得到的歸約操作結果，按照環形全局歸約算法，得到全局歸約結果；

將所述全局歸約結果分發至與自身連接的各個GPU中。

2.根據權利要求1所述的深度學習的集合通信方法，其特征在于，每一個FPGA均與相同數量的GPU連接。

3.根據權利要求2所述的深度學習的集合通信方法，其特征在于，按照機內通信耗時和機外通信耗時平衡的原則，確定出與各個FPGA連接的GPU數量。

4.根據權利要求3所述的深度學習的集合通信方法，其特征在于，所述按照機內通信耗時和機外通信耗時平衡的原則，確定出與各個FPGA連接的GPU數量，包括：

確定出使得最小的數值G，并將確定出的所述數值G作為確定出的與各個FPGA連接的GPU數量；

其中，每個服務器中包括1個FPGA，X表示服務器的數量，K表示單個所述待處理數據塊的大小，G表示確定出的與各個FPGA連接的GPU數量，V1表示FPGA之間的網絡帶寬，V2表示機內總線帶寬。

5.根據權利要求4所述的深度學習的集合通信方法，其特征在于，確定出的與各個FPGA連接的GPU數量為2。

6.根據權利要求1所述的深度學習的集合通信方法，其特征在于，所述從與自身連接的各個GPU中讀取待處理數據塊，包括：

通過直接內存訪問單元從與自身連接的各個GPU中讀取待處理數據塊。

7.根據權利要求1所述的深度學習的集合通信方法，其特征在于，N個FPGA中均具有遠程直接內存訪問單元以進行N個FPGA的環形通信連接。

8.根據權利要求1至7任一項所述的深度學習的集合通信方法，其特征在于，任一FPGA均按照流水線的方式執行所述深度學習的集合通信方法的各個步驟。

9.一種深度學習的集合通信系統，其特征在于，應用于環形通信連接的N個FPGA中的任一FPGA中，N為不小于2的正整數，包括：

直接內存訪問單元，用于從與自身連接的各個GPU中讀取待處理數據塊；

歸約單元，用于對各個所述待處理數據塊進行歸約操作，得到歸約操作結果；

遠程直接內存訪問單元；

全局歸約單元，用于利用所述遠程直接內存訪問單元，基于自身得到的所述歸約操作結果以及其他各個FPGA得到的歸約操作結果，按照環形全局歸約算法，得到全局歸約結果；通過所述直接內存訪問單元將所述全局歸約結果分發至與自身連接的各個GPU中。

10.一種服務器集群，其特征在于，包括如權利要求9所述的深度學習的集合通信系統。