[發明專利]數據拆分方法、裝置、設備、介質及程序產品

在審

• 申請號: 202110236743.9
• 申請日: 2021-03-03
• 公開（公告）號: CN113760902A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 王思佳;許海華;王云博;魯大帥;傅朋;張師聰
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2458;G06F16/28;G06F8/36
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 虞浩;臧建明

1.一種數據拆分方法，其特征在于，包括：

在待拆分數據庫集群中，根據預設要求確定至少一個數據源節點；

將所述待拆分數據庫集群中的待拆分數據發送給所述數據源節點；

根據預設拆分方式對所述數據源節點中的所述待拆分數據進行拆分，以確定拆分數據，所述預設拆分方式保留了原有數據表的邏輯結構；

通過所述數據源節點將所述拆分數據發送到目標數據庫集群的目標節點中。

2.根據權利要求1所述的數據拆分方法，其特征在于，所述待拆分數據庫集群包括至少一個主從關系節點，所述主從關系節點包括：主節點以及依附于所述主節點的至少一個從節點，所述數據源節點包括所述主從關系節點中的至少一個所述從節點。

3.根據權利要求2所述的數據拆分方法，其特征在于，所述根據預設拆分方式對所述數據源節點中的所述待拆分數據進行拆分，以確定拆分數據，包括：

根據所述待拆分數據中預設關鍵字段對應的預設拆分參數，確定所述拆分數據。

4.根據權利要求3所述的數據拆分方法，其特征在于，所述預設拆分參數包括：拆分區間范圍以及在所述拆分區間范圍內的至少一個拆分值，所述根據所述待拆分數據中預設關鍵字段對應的預設拆分參數，確定所述拆分數據，包括：

保持數據表的表頭結構不變，根據所述數據表中的所述預設關鍵字段對應的所述拆分區間范圍以及所述拆分值，確定所述拆分數據，所述拆分數據具備與所述數據表相同的所述結構，所述待拆分數據中包括至少一個所述數據表。

5.根據權利要求1所述的數據拆分方法，其特征在于，所述通過所述數據源節點將所述拆分數據發送到目標數據庫集群的目標節點中，包括：

為每個所述目標節點創建一個寫入隊列；

利用讀取協程從所述數據源節點中讀取所述拆分數據，并插入所述寫入隊列中；

利用寫入協程從所述寫入隊列中依次將所述拆分數據復制到對應所述目標節點中。

6.根據權利要求1-5中任意一項所述的數據拆分方法，其特征在于，在所述將所述待拆分數據庫集群中的待拆分數據發送給所述數據源節點之后，還包括：

將所述數據源節點從所述待拆分數據庫集群中摘除，以使所述數據源節點中的數據總量保持不變。

7.根據權利要求6所述的數據拆分方法，其特征在于，在所述通過所述數據源節點將所述拆分數據發送到至少一個目標數據庫集群的至少一個目標節點中之后，還包括：

將所述數據源節點重新接入所述待拆分數據庫集群中；

將更新后的待拆分數據發送給所述數據源節點；

根據預設拆分方式對所述待拆分數據再次進行拆分，以確定新的拆分數據；

通過所述數據源節點，以過濾復制的方式將所述新的拆分數據發送給所述目標節點，所述過濾復制的方式用于濾除在所述目標節點中已經存在的拆分數據。

8.根據權利要求7所述的數據拆分方法，其特征在于，所述預設要求包括：所述數據源節點為只讀節點。

9.根據權利要求8所述的數據拆分方法，其特征在于，所述只讀節點為主從關系節點中只讀類型的從節點。

10.根據權利要求1-5中任意一項所述的數據拆分方法，其特征在于，所述將所述待拆分數據庫集群中的待拆分數據發送給所述數據源節點包括：

根據所述待拆分數據的屬性特征，將滿足預設條件的第一待拆分數據按預設發送方式發送給所述數據源節點，所述待拆分數據包括所述第一待拆分數據。