[發明專利]數據處理方法、裝置及系統

有效

• 申請號: 202110239252.X
• 申請日: 2018-03-05
• 公開（公告）號: CN113098773B
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 黃伊;夏寅賁;劉孟竹
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L45/00
• 分類號: H04L45/00;H04L45/122;H04L45/74;H04L47/12;H04L47/41
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種數據處理方法，其特征在于，應用于數據中心網絡的交換設備，所述方法包括：

接收多個計算節點上報的數據，所述多個計算節點用于分布式執行計算任務；

對所述多個計算節點上報的數據進行合并處理；

根據路由信息向所述多個計算節點中每個計算節點發送合并處理后的數據，所述路由信息是從控制器接收的，所述路由信息和所述計算任務對應并用于指示所述多個計算節點與目標交換設備之間的數據轉發路徑。

2.根據權利要求1所述的方法，其特征在于，所述計算任務包括為分布式AI訓練任務。

3.根據權利要求1或2所述的方法，其特征在于，所述交換設備為所述目標交換設備，所述多個計算節點上報的數據包括至少兩個所述計算節點上報的，且經中間交換設備進行合并處理后的數據。

4.根據權利要求1或2所述的方法，其特征在于，所述交換設備為用于連接所述目標交換設備和至少兩個所述計算節點的中間交換設備；

所述對所述多個計算節點上報的數據進行合并處理，包括：

對至少兩個所述計算節點上報的數據進行合并處理。

5.根據權利要求1-4任一所述的方法，其特征在于，所述路由信息中還包括所述計算任務的任務標識。

6.根據權利要求1-5任一所述的方法，其特征在于，所述對所述多個計算節點上報的數據進行合并處理，包括：

按照所述計算任務對應的合并處理類型，對所述多個計算節點上報的數據進行合并處理。

7.根據權利要求6所述的方法，其特征在于，所述合并處理類型包括：計算平均值、計算加權平均值、求和、計算最大值和計算最小值中的任一種。

8.根據權利要求1-7任一所述的方法，其特征在于，所述路由信息包括所述目標交換設備的標識，所述方法還包括：

根據所述路由信息，向所述目標交換設備發送合并處理后的數據。

9.一種數據處理裝置，其特征在于，應用于數據中心網絡的交換設備，所述數據處理裝置包括：

接收模塊，用于接收多個計算節點上報的數據,所述多個計算節點用于分布式執行計算任務；

處理模塊，用于對所述多個計算節點上報的數據進行合并處理；

發送模塊，用于根據路由信息向所述多個計算節點中每個計算節點發送合并處理后的數據，所述路由信息是從控制器接收的，所述路由信息和所述計算任務對應，并用于指示所述多個計算節點與目標交換設備之間的數據轉發路徑。

10.根據權利要求9所述的裝置，其特征在于，所述計算任務包括為分布式AI訓練任務。

11.根據權利要求9或10所述的裝置，其特征在于，所述交換設備為所述目標交換設備，所述多個計算節點上報的數據包括至少兩個所述計算節點上報的，且經中間交換設備進行合并處理后的數據。

12.根據權利要求9或10所述的裝置，其特征在于，所述交換設備為用于連接所述目標交換設備和至少兩個所述計算節點的中間交換設備；

所述處理模塊，用于：

對至少兩個所述計算節點上報的數據進行合并處理。

13.根據權利要求9-12任一所述的裝置，其特征在于，所述接收模塊，還用于：

接收所述控制器發送的計算任務對應的路由信息。

14.根據權利要求9-13任一所述的裝置，其特征在于，所述路由信息中還包括所述計算任務的任務標識。

15.根據權利要求9-14任一所述的裝置，其特征在于，所述處理模塊，用于：

按照所述計算任務對應的合并處理類型，對所述多個計算節點上報的數據進行合并處理。