[發明專利]用于多處理單元互連加速器系統的拓撲和算法

在審

• 申請號: 202210181586.0
• 申請日: 2022-02-25
• 公開（公告）號: CN115129655A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 韓亮
• 申請（專利權）人: 平頭哥（上海）半導體技術有限公司
• 主分類號: G06F15/173
• 分類號: G06F15/173
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰;楊雷

1.一種計算系統，包括：

多個并行處理單元，被組織成多個并行處理單元分組，

其中，每個并行處理單元分組中的每個并行處理單元通過兩個雙向通信鏈路耦接到同一并行處理單元分組中的每個其他并行處理單元，并且每個并行處理單元通過一雙向通信鏈路耦接到對應其他并行處理單元分組的對應并行處理單元。

2.根據權利要求1所述的計算系統，其中所述各個并行處理單元和所述各個雙向通信鏈路被配置為計算All_Reduce函數。

3.根據權利要求2所述的計算系統，其中所述各個并行處理單元和所述各個雙向通信鏈路被配置為計算All_Reduce函數，包括：

每個并行處理單元被配置為減少在相應兩個雙向通信鏈路上從同一并行處理單元分組中的其他并行處理單元接收到的對應一組輸入數據；

每個并行處理單元被配置為減少在相應一雙向通信鏈路上從對應其他并行處理單元分組中的對應并行處理單元接收到的對應一組中間數據；以及

每個并行處理單元被配置為在相應的兩個雙向通信鏈路上向同一并行處理單元分組中的其他并行處理單元廣播對應一組數據和。

4.根據權利要求1所述的計算系統，其中：

所述多個并行處理單元包括八個并行處理單元；

所述多個并行處理單元被組織成兩個分組，每個分組有四個并行處理單元；

兩個雙向通信鏈路將每個并行處理單元耦接到同一并行處理單元分組中的其他三個并行處理單元；以及

一雙向通信鏈路將每個并行處理單元耦接到其他并行處理單元分組中的對應并行處理單元。

5.根據權利要求4所述的計算系統，其中：

輸入數據被劃分為四組；

每個并行處理單元被配置為將在所述兩個雙向通信鏈路上從同一并行處理單元分組中的其他并行處理單元接收到的對應各組輸入數據與相應并行處理單元的一組輸入數據組進行求和，生成對應一組中間數據；

每個并行處理單元被配置為將在所述一雙向通信鏈路上從其他并行處理單元分組中的對應并行處理單元接收到的對應一組中間數據組與相應并行處理單元的一組中間數據進行求和，生成相應一組數據和；以及

每個并行處理單元被配置為將相應并行處理單元的數據和廣播到同一并行處理單元分組中的其他并行處理單元。

6.根據權利要求5所述的計算系統，還包括：流式處理以下步驟的多次迭代：

將在所述兩個雙向通信鏈路上從同一并行處理單元分組中的其他并行處理單元接收到的對應各組輸入數據組與相應并行處理單元的一組輸入數據進行求和，生成相應一組中間數據；以及

將在所述一雙向通信鏈路上從其他并行處理單元分組中的對應并行處理單元接收到的對應各組中間數據與相應并行處理單元的一組中間數據組進行求和，生成相應一組數據和；

將相應并行處理單元的數據和廣播到同一并行處理單元分組中的其他并行處理單元。

7.一種計算方法，包括：

針對一簇并行處理單元配置通信鏈路，所述一簇并行處理單元具有八個并行處理單元，并且被組織成兩個分組，其中，每個并行處理單元通過兩個雙向通信鏈路耦接到同一分組中的每個其他并行處理單元，并且每個并行處理單元通過一雙向通信鏈路耦接到其他分組中的對應并行處理單元；

將輸入數據劃分成四組，在兩個并行處理單元分組中的對應并行處理單元上進行處理；

對兩個并行處理單元分組，并行減少沿2x3雙向通信鏈路的輸入數據；

對兩個并行處理單元分組，減少對應并行處理單元之間的數據；以及

對兩個并行處理單元分組，并行地廣播沿2x3雙向通信鏈路的數據。