[發明專利]一種并行消息處理方法、系統及相關裝置

有效

• 申請號: 201911285965.9
• 申請日: 2019-12-13
• 公開（公告）號: CN111105042B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 王超
• 申請（專利權）人: 廣東浪潮大數據研究有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F9/54
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 高勇

1.一種并行消息處理方法，其特征在于，包括：

當第一運算器完成參數單元的計算時，發出歸約操作請求至主控器，以便所述主控器將所述參數單元全局廣播至所有運算器；

當各運算器接收到所述參數單元后，各所述運算器緩存所述參數單元；

當第二運算器完成所述參數單元的計算得到歸約數據后，所述第二運算器將所述歸約數據與所述第二運算器緩存中的所述參數單元比對，生成所述第二運算器對應的位矢量信息；

每當生成新的位矢量信息時，將各所述運算器對應的位矢量信息進行位與操作；

根據位與操作結果執行歸約操作。

2.根據權利要求1所述的并行消息處理方法，其特征在于，所述參數單元包括歸約類型、歸約范圍和張量。

3.根據權利要求1所述的并行消息處理方法，其特征在于，各所述運算器緩存所述參數單元包括：

各所述運算器以pre-reduce消息格式緩存所述參數單元。

4.根據權利要求1所述的并行消息處理方法，其特征在于，根據位與操作結果執行所述歸約操作包括：

若各運算器對應的位矢量信息的位與操作結果為1，則各運算器執行所述歸約操作。

5.根據權利要求4所述的并行消息處理方法，其特征在于，若所述位與操作結果為0，還包括：

在位與操作結果為0的雙方運算器執行對所述參數單元的計算后，重新執行雙方運算器對應的位矢量信息的位與操作。

6.一種并行消息處理系統，其特征在于，包括：

請求發送模塊，用于當第一運算器完成參數單元的計算時，發出歸約操作請求至主控器，以便所述主控器將所述參數單元全局廣播至所有運算器；

緩存模塊，用于當各運算器接收到所述參數單元后，各所述運算器緩存所述參數單元；

位矢量生成模塊，用于當第二運算器完成所述參數單元的計算得到歸約數據后，所述第二運算器將所述歸約數據與所述第二運算器緩存中的所述參數單元比對，生成所述第二運算器對應的位矢量信息；

位與比對模塊，用于每當生成新的位矢量信息時，將各所述運算器對應的位矢量信息進行位與操作；

歸約執行模塊，用于根據位與操作結果執行所述歸約操作。

7.根據權利要求6所述的并行消息處理系統，其特征在于，所述緩存模塊包括：

緩存單元，用于各所述運算器以pre-reduce消息格式緩存所述參數單元。

8.根據權利要求6所述的并行消息處理系統，其特征在于，所述歸約執行模塊具體為若各運算器對應的位矢量信息的位與操作結果為1，控制各運算器執行所述歸約操作的模塊。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-5任一項所述的并行消息處理方法的步驟。

10.一種深度學習設備，其特征在于，包括存儲器和處理器，所述存儲器中存有計算機程序，所述處理器調用所述存儲器中的計算機程序時實現如權利要求1-5任一項所述的并行消息處理方法的步驟。