[發明專利]一種數據交換系統的任務拆分方法及裝置

有效

• 申請號: 201910686475.3
• 申請日: 2019-07-26
• 公開（公告）號: CN110597618B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 徐偉;孫遷;郭文憑;劉啊龍
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/242;G06F16/28
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 顧友

1.一種數據交換系統的任務拆分方法，其特征在于，所述方法包括如下步驟：

判斷當前任務的數據表中待交換數據的數據源的類型，若所述數據源是關系數據庫，則根據所述待交換數據的類型選擇相應的查詢語句；

解析所述查詢語句，根據解析結果判定所述查詢語句的復雜度；

若所述復雜度滿足預設條件，則查詢所述待交換數據的數據量；

根據所述待交換數據的數據量，從預設的拆分策略中選取對應的拆分策略，所述預設的拆分策略包括分頁拆分策略、主鍵字段拆分策略和不拆分策略；

根據選取的所述拆分策略對所述當前任務進行拆分；

若拆分策略為主鍵字段拆分策略，則所述根據選取的所述拆分策略對所述當前任務進行拆分包括：查詢所述當前任務的數據表的主鍵字段，獲取所述主鍵字段中的最大值以及最小值，設置并發子任務個數，根據所述并發子任務個數、所述最大值以及所述最小值計算得到步長，根據所述步長對所述當前任務的數據表進行拆分，將拆分得到的子數據表分配至各并發子任務；

若查詢到的所述當前任務的數據表的主鍵字段為字符類型的主鍵字段，則所述根據選取的所述拆分策略對所述當前任務進行拆分包括：將所述字符類型的主鍵字段轉換成Ascii碼數值類型，設置主鍵字段中各個字段的權重后根據所述權重計算得到所述Ascii碼的值，將所述Ascii碼的值轉換成新的字符串，若所述新的字符串的長度大于1，則獲取并發子任務個數，按照所述并發子任務個數從左向右截取所述新的字符串，對所述當前任務的數據表進行拆分，將拆分得到的子數據表分配至各并發子任務。

2.根據權利要求1所述的數據交換系統的任務拆分方法，其特征在于，所述解析所述查詢語句的，根據解析結果判定所述查詢語句的復雜度包括：

解析所述查詢語句，至少獲取所述查詢語句中的表關聯次數以及分析函數個數，根據所述表關聯次數和/或所述分析函數個數判定所述查詢語句的復雜度。

3.根據權利要求1或2所述的數據交換系統的任務拆分方法，其特征在于，所述根據所述待交換數據的數據量，從預設的拆分策略中選取對應的拆分策略包括：

獲取數據量閾值(n，m]，其中n和m為正整數，且n＜m，將所述待交換數據的數據量與所述數據量閾值進行比較，若所述數據表的數據量在所述數據量閾值范圍內，則選取分頁拆分策略，若所述數據表的數據量＞m，則選取主鍵字段拆分策略，若所述數據表的數據量≤n，則選取不拆分策略。

4.根據權利要求3所述的數據交換系統的任務拆分方法，其特征在于，若拆分策略為分頁拆分策略，則所述根據選取的所述拆分策略對所述當前任務進行拆分包括：

根據所述待交換數據的數據量設置并發子任務的數量，將所述待交換數據按照所述并發子任務的數量進行等份拆分后分配至各并發子任務。

5.根據權利要求1所述的數據交換系統的任務拆分方法，其特征在于，所述方法還包括：

若查詢到所述當前任務的數據表沒有主鍵，則將預設的字段設置為主鍵字段。

6.根據權利要求1或2所述的數據交換系統的任務拆分方法，

其特征在于，所述方法還包括：

若所述數據源是文件系統，則按照文件大小對當前任務包含的所有文件進行排序；

設置并發子任務個數，根據所述并發子任務個數對排序后的文件進行拆分，并將拆分后的文件分配至各并發子任務。

7.根據權利要求1或2所述的數據交換系統的任務拆分方法，

其特征在于，所述方法還包括：

若所述復雜度不滿足所述預設條件，則不對所述當前任務進行拆分。

8.一種數據交換系統的任務拆分裝置，所述裝置執行權利要求1至7任一所述的方法，其特征在于，所述裝置包括：

類型判斷模塊，用于當前任務的數據表中待交換數據的數據源的類型；

語句選取模塊，用于若所述數據源是關系數據庫，則根據所述待交換數據的類型選擇相應的查詢語句；

復雜度判定模塊，用于解析所述查詢語句，根據解析結果判定所述查詢語句的復雜度；

數據量查詢模塊，用于若所述復雜度滿足預設條件，則查詢所述待交換數據的數據量；

策略選取模塊，用于根據所述待交換數據的數據量，從預設的拆分策略中選取對應的拆分策略，所述預設的拆分策略包括分頁拆分策略、主鍵字段拆分策略和不拆分策略；

任務拆分模塊，用于根據選取的所述拆分策略對所述當前任務進行拆分。