[發明專利]一種數據庫遷移方法、裝置、電子設備及存儲介質

有效

• 申請號: 201911276004.1
• 申請日: 2019-12-12
• 公開（公告）號: CN111104392B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 張棟芳
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/27
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 王衛忠;李雪

本申請涉及一種數據庫遷移方法、裝置、電子設備及存儲介質。其中所述數據庫遷移方法，包括：獲取源數據庫中的待遷移數據；確定將所述待遷移數據遷移到目標數據庫后，所述目標數據庫中增加的第一遷入數據；其中，所述目標數據庫至少包括一個；根據所述待遷移數據以及第一遷入數據進行遷移前后的數據量一致性校驗。本申請實施例提供的上述技術方案與相關技術相比具有如下優點：相對于相關技術在對源數據庫中的數據進行分庫分表存儲之后，會由于遷移后數據庫數量、表的數量、每個表中的數據量的變化，導致遷移前后數據不一致；通過本申請中方法能夠準確地對遷移的數據進行一致性校驗，進而保障遷移前后數據的一致性。

技術領域

本申請涉及數據庫技術領域，尤其涉及一種數據庫遷移方法、裝置、電子設備及存儲介質。

背景技術

數據遷移(又稱分級存儲管理，hierarchical storage management，HSM)是一種將離線存儲與在線存儲融合的技術，將正在提供線上服務的數據從一個地方遷移到另一個地方。

數據遷移的過程大致可以分為抽取、轉換、裝載三個步驟。數據抽取、轉換是根據新舊系統數據庫的映射關系進行的，而數據差異分析是建立映射關系的前提，這其中還包括對代碼數據的差異分析。轉換步驟一般還要包含數據清洗的過程，數據清洗主要是針對源數據庫中，對出現二義性、重復、不完整、違反業務或邏輯規則等問題的數據進行相應的清洗操作；在清洗之前需要進行數據質量分析，以找出存在問題的數據，否則數據清洗將無從談起。數據裝載是通過裝載工具或自行編寫的SQL程序將抽取、轉換后的結果數據加載到目標數據庫中。

在實現本發明的過程中發明人發現，對于分庫數據表存儲的數據，由于遷移后數據庫數據量、表的數據量、每個表中的數據量均會發生變化，因此，現有數據遷移技術無法保證遷移前后數據的一致性。

針對相關技術中存在的諸多技術問題，目前尚未提供有效的解決方案。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本申請實施例提供了一種數據庫遷移方法、裝置、電子設備及存儲介質。

第一方面，本申請實施例提供了一種數據庫遷移方法，包括：

獲取源數據庫中的待遷移數據；

確定將所述待遷移數據遷移到目標數據庫后，所述目標數據庫中增加的第一遷入數據；其中，所述目標數據庫至少包括一個；

根據所述待遷移數據以及第一遷入數據進行遷移前后的數據量一致性校驗。

可選的，如前所述的方法，所述將所述待遷移數據遷移到目標數據庫，包括：

確定所述源數據庫中的第一數據表對應的第一自增標識；其中，所述第一數據表為所述待遷移數據中的數據表，同一所述源數據庫中的第一數據表的第自增標識按序遞增設置；

根據所述第一自增標識將所述第一數據表遷移到所述目標數據庫。

可選的，如前所述的方法，所述根據所述第一自增標識將所述第一數據表遷移到所述目標數據庫，包括：

根據所述第一數據表對應的第一自增標識，并按照預設次序對所述第一數據表進行讀取；

依次將讀取的所述第一數據表按照預設的遷移策略寫入對應的目標數據庫中。

可選的，如前所述的方法，根據所述待遷移數據以及第一遷入數據進行遷移前后的數據量一致性校驗，包括：

根據所述待遷移數據生成第一Md5值；

根據所述第一遷入數據生成第二Md5值；

基于所述第一Md5值和第二Md5值進行所述遷移前后的數據量一致性校驗。

可選的，如前所述的方法，還包括：