[發(fā)明專利]用于在數據通信網絡中執(zhí)行集合通信操作的裝置、方法和計算機程序產品

在審

• 申請?zhí)枺?/td>: 201880100223.1
• 申請日: 2018-12-13
• 公開（公告）號: CN113196256A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設計）人: 德米特里·謝爾蓋維奇·科爾馬科夫;張學倉
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F15/173
• 分類號: G06F15/173
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于在包括多個計算節(jié)點的數據通信網絡中執(zhí)行集合通信操作的方法，其特征在于，所述方法包括：

–接收在所述集合通信操作中待使用的數據陣列，所述數據陣列包括數據項并具有預定義的大?。?/p>

–獲取所述數據項在所述計算節(jié)點上的分布；

–獲取所述數據通信網絡的網絡參數；

–根據所述數據陣列的所述大小、所述網絡參數和所述數據項的所述分布，確定所述集合通信操作的調度；

–根據所述集合通信操作的所述調度對所述數據陣列執(zhí)行所述集合通信操作，

其中，所述數據項的所述分布和所述集合通信操作的所述調度都基于所述計算節(jié)點之間所述數據項的循環(huán)排列。

2.根據權利要求1所述的方法，其特征在于，所述網絡參數包括網絡帶寬和網絡延遲。

3.根據權利要求1或2所述的方法，其特征在于，所述數據通信網絡是對等網絡。

4.根據權利要求1至3中任一項所述的方法，其特征在于，所述獲取所述數據通信網絡的所述網絡參數包括：

_–接收包括所述網絡參數的用戶輸入；

_–使用網絡分析器實時計算所述網絡參數，或

_–從預先存儲所述網絡參數的存儲器中檢索所述網絡參數。

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述集合通信操作包括Allreduce操作。

6.根據權利要求5所述的方法，其特征在于，所述Allreduce操作包括ReduceScatter操作和Allgather操作的組合。

7.根據權利要求5或6所述的方法，其特征在于，所述Allreduce操作的調度中使用的所述循環(huán)排列的數量在到之間變化，其中，P是所述計算節(jié)點的數量。

8.一種用于在包括多個計算節(jié)點的數據通信網絡中執(zhí)行集合通信操作的裝置，其特征在于，所述裝置包括：

至少一個處理器；

存儲器，與所述至少一個處理器耦合，并存儲計算機可執(zhí)行指令，當所述至少一個處理器執(zhí)行所述可執(zhí)行指令時，使所述至少一個處理器：

–接收在所述集合通信操作中待使用的數據陣列，所述數據陣列包括數據項并具有預定義的大?。?/p>

–獲取所述數據項在所述計算節(jié)點上的分布；

–獲取所述數據通信網絡的網絡參數；

–根據所述數據陣列的所述大小、所述網絡參數和所述數據項的所述分布，確定所述集合通信操作的調度；

–根據所述集合通信操作的所述調度對所述數據陣列執(zhí)行所述集合通信操作，

其中，所述數據項的所述分布和所述集合通信操作的所述調度都基于所述計算節(jié)點之間所述數據項的循環(huán)排列。

9.根據權利要求8所述的裝置，其特征在于，所述網絡參數包括網絡帶寬和網絡延遲。

10.根據權利要求8或9所述的裝置，其特征在于，所述數據通信網絡是對等網絡。

11.根據權利要求8至10中任一項所述的裝置，其特征在于，所述至少一個處理器用于通過以下方式獲取所述數據通信網絡的所述網絡參數：

–接收包括所述網絡參數的用戶輸入；

–從對所述網絡參數進行實時計算的網絡分析器接收所述網絡參數，或

–從預先存儲所述網絡參數的所述存儲器中檢索所述網絡參數。

12.根據權利要求8至11中任一項所述的裝置，其特征在于，所述集合通信操作包括Allreduce操作。

13.根據權利要求12所述的裝置，其特征在于，所述Allreduce操作包括ReduceScatter操作和Allgather操作的組合。