[發明專利]用于在數據通信網絡中執行集合通信操作的裝置、方法和計算機程序產品

在審

• 申請號: 201880100223.1
• 申請日: 2018-12-13
• 公開（公告）號: CN113196256A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 德米特里·謝爾蓋維奇·科爾馬科夫;張學倉
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F15/173
• 分類號: G06F15/173
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及數據處理領域，更具體地，涉及一種用于在數據通信網絡中的多個計算節點上執行集合通信操作的方法、裝置和計算機程序產品。具體地，所述集合通信操作是根據調度執行的，所述調度根據網絡參數、進行所述集合通信操作的數據陣列的大小，以及構成所述數據陣列的數據項在所述計算節點上的分布確定。所述調度定義了所述集合通信操作所涉及的所述計算節點之間所述數據項的某些循環排列。因此，通過改變所述循環排列的數量，所述集合通信操作的執行適應所述網絡參數和所述數據陣列的所述大小。

技術領域

本發明涉及數據處理領域，更具體地，涉及一種用于在數據通信網絡中的多個計算節點上執行集合通信操作的方法、裝置和計算機程序產品。

背景技術

高性能并行計算(high-performance parallel computing，HPPC)與使用多個計算節點或進程以更快或更高的準確度解決感興趣的任務有關。具體地，HPPC基于以下事實：感興趣的任務通常可以分為更小的子任務，這些子任務可以根據一些協調規則在多個計算節點上同時執行。計算節點的這種參與也稱為集合通信操作，指多個計算節點在解決感興趣的任務時相互通信。

為了執行集合通信操作，制定了不同的標準，包括消息傳遞接口標準(messagepassing interface，MPI)。通常，MPI為計算節點之間的通信提供了標準化的手段，支持點對點和集合通信。這種支持可以實現不同類型的集合通信操作，在這些集合通信操作中，Allreduce操作非常重要，因為已證明Allreduce操作是MPI中最常用的操作之一。

更具體地，Allreduce操作是所有計算節點的數據項被組合成一個結果，然后將結果分發回每個計算節點的集合通信操作。數據項的這種組合可以通過使用加法運算符、乘法運算符、最大運算符、最小運算符等特定運算符來執行，并且結果可以分別由所有數據項的總和、所有數據項的乘積、最大數據項、最小數據項等表示。

最近提出了許多不同的算法，以在不同的平臺和網絡架構上實現Allreduce操作。具體地，OpenMPI和MPICH標準是MPI標準的兩種獨立的實現，它們在執行Allreduce操作時需要使用兩種算法，即遞歸倍增算法和環算法。但是，遞歸倍增算法和環算法存在以下缺點：前者對小數據項和數量是2的冪的計算節點是最優的，后者對大數據項是最優的，同時適用于任何數量的計算節點。因此，根據OpenMPI和MPICH標準，Allreduce操作的執行涉及根據數據項的大小和計算節點的數量在這兩種算法之間切換，從而增加了Allreduce操作的執行時間。

Allreduce操作中使用的對大數據項最優的另一種算法是遞歸減半算法。但是，與遞歸倍增算法類似，遞歸減半算法只有在計算節點的數量是2的冪時才效果良好。

因此，仍然需要一種新的方案，可以減少甚至消除現有技術特有的上述缺點。

發明內容

發明內容簡單介紹了一些概念，在具體實施方式中會進一步描述這些概念。發明內容并非旨在確定所要求保護的主題的關鍵特征或必要特征，也并非旨在用于限制所要求保護的主題的范圍。

本發明的目的是提供一種最優的技術方案，用于對任何大小的數據項和任何數量的計算節點有效地執行集合通信操作。

上述目的通過所附權利要求書中獨立權利要求的特征來實現。其它實施例和示例從從屬權利要求、說明書和附圖中顯而易見。