[發明專利]數據交換方法和裝置

在審

• 申請號: 202110697432.2
• 申請日: 2021-06-23
• 公開（公告）號: CN113342886A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 林鵬程;潘雅萍;陳振洲
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F9/50;G06F9/54
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 劉秀玲

1.一種數據交換方法，其特征在于，應用于第一節點，所述第一節點將一個數據交換任務對應的全部數據劃分為多個分片，為每個分片創建一個一級子任務，將所述多個分片對應的多個一級子任務下發給多個線程并行進行數據交換，每個線程對應一個一級子任務和一個分片，所述方法包括：

響應于在所述多個線程中檢測到第一線程處于空閑狀態，在所述多個線程中處于運行狀態的線程中確定第二線程；

將所述第二線程對應的分片中的未交換數據劃分為至少兩個分片；

為所述至少兩個分片中的每個分片創建一個二級子任務，得到至少兩個二級子任務；

將所述至少兩個二級子任務分別下發給第一數量個目標線程，以由所述第一數量個目標線程并行進行數據交換；所述目標線程為從所述第一線程和所述第二線程組成的線程集合中選擇的線程，所述第一數量等于所述二級子任務的總數量。

2.根據權利要求1所述的方法，其特征在于，還包括：

在創建一級子任務時，設置數據量偏差閾值m；

在所述多個分片中，確定數據量最小的第一分片，以及確定第二分片，所述第二分片的數據量與所述第一分片的數據量之間的差值大于所述數據量偏差閾值m；

對于每個第二分片，將第二分片對應的數據按照行數順序進行分段，得到順序排列的多個分段；

向第二分片對應的線程下發交換控制信息，所述交換控制信息用于指示第二分片對應的線程按照所述多個分段的順序執行數據交換。

3.根據權利要求2所述的方法，其特征在于，將所述第二線程對應的分片中的未交換數據劃分為至少兩個分片之前，還包括：

確定所述第二線程對應的分片的所有分段中的已完成分段和正在交換的分段；

根據所述已完成分段和所述正在交換的分段，確定所述第二線程對應的剩余分段；所述剩余分段為所述所有分段去除所述已完成分段和所述正在交換的分段之后的分段；

將所述剩余分段對應的全部數據確定為所述第二線程對應的分片中的未交換數據。

4.根據權利要求2所述的方法，其特征在于，在所述多個線程中處于運行狀態的線程中確定第二線程，包括：

在所述多個線程中處于運行狀態的線程中查找所述第二分片對應的線程，作為備選線程；

在查找出的所有備選線程中，確定所述差值最大的線程，將所述差值最大的線程確定為第二線程。

5.根據權利要求1所述的方法，其特征在于，在所述多個線程中處于運行狀態的線程中確定第二線程，包括：

將當前處于運行狀態的線程中未交換數據最多的線程確定為第二線程。

6.根據權利要求1所述的方法，其特征在于，將一個數據交換任務對應的全部數據劃分為多個分片，包括：

基于預設的第一分片列和第一分片數，根據第一算法對一個數據交換任務對應的全部數據進行邏輯分片，得到多個分片。

7.根據權利要求6所述的方法，其特征在于，將所述第二線程對應的分片中的未交換數據劃分為至少兩個分片，包括：

基于預設的第二分片列和第二分片數，根據第二算法對所述第二線程對應的分片中的未交換數據進行邏輯分片，得到至少兩個分片；其中，所述第二分片列與所述第一分片列不同。

8.根據權利要求1所述的方法，其特征在于，所述第一節點為控制節點，所述多個線程處于至少一個工作節點中。

9.根據權利要求1所述的方法，其特征在于，所述第一節點為工作節點，所述多個線程均處于所述第一節點中。

10.根據權利要求1所述的方法，其特征在于，將所述第二線程對應的分片中的未交換數據劃分為至少兩個分片之前，還包括：

判斷所述第二線程對應的分片中的未交換數據是否大于或等于預設的數據量閾值；

若是，則執行將所述第二線程對應的分片中的未交換數據劃分為至少兩個分片的步驟；否則返回響應于在所述多個線程中檢測到第一線程處于空閑狀態、在所述多個線程中處于運行狀態的線程中確定第二線程的步驟。