[發明專利]一種數據遷移方法及裝置

在審

• 申請號: 202011618158.7
• 申請日: 2020-12-31
• 公開（公告）號: CN112650736A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 段宏宇;田莉萍
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/215
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉猛

1.一種數據遷移方法，其特征在于，包括：

基于Spark計算引擎梳理各個源數據庫中屬于同一邏輯表的所有物理數據表，并刪除冗余數據，得到同一個所述邏輯表對應的待遷移物理數據表；

對于任一源數據庫，基于Spark計算引擎并行遷移不同邏輯表中的待遷移物理數據表，直到所述源數據庫中屬于同一邏輯表的待遷移物理數據表遷移完，繼續遷移下一個源數據庫中屬于所述同一邏輯表的待遷移物理數據表。

2.根據權利要求1所述的方法，其特征在于，所述基于Spark計算引擎并行遷移不同邏輯表中的待遷移物理數據表，直到所述源數據庫中屬于同一邏輯表的待遷移物理數據表遷移完，包括：

對于并行遷移的不同邏輯表中的任一邏輯表，均執行以下步驟：

將所述源數據庫中存儲的屬于所述任一邏輯表的各個待遷移物理數據表的配置信息存儲至待遷移物理數據隊列中；

當根據所述表配置信息確定所述待遷移物理數據表的總存儲量超過預設閾值時，并行讀取所述待遷移物理數據表中不同數據分片內的待遷移數據，其中，所述數據分片是將所述待遷移物理數據表中的數據按預設表字段劃分得到；

當根據所述表配置信息確定所述待遷移物理數據表中存在存儲量傾斜的數據分片時，將所述存儲量傾斜的數據分片內的數據打散，并行讀取所述數據分片內不同的待遷移數據；

將讀取的待遷移數據遷移至目標數據庫中的與所述待遷移物理數據表相匹配的目標數據表中，并重復以上步驟直到所述待遷移物理數據隊列為空。

3.根據權利要求2所述的方法，其特征在于，將同一所述待遷移物理數據表中的數據集按照指定表字段進行分割得到至少一個數據塊，且在所述目標數據庫中目標數據表中為每個所述數據塊設置一個分區，且每個分區具有一個分區標識；

所述將讀取的待遷移數據遷移至目標數據庫中的所述目標數據表中，包括：

將讀取的待遷移數據轉換為目標格式數據，所述目標格式數據中包括與各個所述數據塊相匹配的分區標識；

分別統計每個所述分區標識對應的所述目標格式數據的數量，得到每個所述分區標識對應的待遷移分區數據統計值；

針對任一所述分區標識，如果所述分區標識對應的已遷移分區數據統計值大于或等于所述待遷移分區數據統計值，確定所述分區標識對應的待遷移數據不需要遷移；

如果所述分區標識對應的已遷移分區數據統計值小于所述待遷移分區數據統計值，將包含所述分區標識的目標格式數據寫入所述目標數據表中與所述分區標識相匹配的分區中。

4.根據權利要求3所述的方法，其特征在于，如果所述分區標識對應的已遷移分區數據統計值小于所述待遷移分區數據統計值，將包含所述分區標識的目標格式數據寫入所述目標數據表中與所述分區標識相匹配的分區中，包括：

如果所述分區標識對應的已遷移分區數據統計值小于所述待遷移分區數據統計值，則將包含所述分區標識的目標格式數據更新至待遷移分區列表中；

如果所述待遷移分區列表不為空，則從所述待遷移分區列表中讀取目標格式數據寫入與所述分區標識相匹配的分區中，直到所述待遷移分區列表為空。

5.根據權利要求3所述的方法，其特征在于，所述方法還包括：

在將包含所述分區標識的所述目標格式數據成功寫入所述目標數據表中與所述分區標識相匹配的分區之后，將所述分區標識對應的已遷移分區數據統計值更新為所述分區標識對應的所述待遷移分區數據統計值。

6.根據權利要求3所述的方法，其特征在于，所述將包含所述分區標識的目標格式數據寫入所述目標數據表中與所述分區標識相匹配的分區中，包括：

如果所述待遷移數據通過并行讀取同一時間分片的數據獲得，則通過靜態插入方式寫入所述分區中；

如果所述待遷移數據通過其他讀取方式獲得，則通過動態插入方式復寫入所述分區中。