[發明專利]數據庫數據遷移方法、裝置以及存儲介質

在審

• 申請號: 202011247564.7
• 申請日: 2020-11-10
• 公開（公告）號: CN112306994A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 薛高飛;曾平
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/245;G06F16/27
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 方亮

本公開提供了一種數據庫數據遷移方法、裝置以及存儲介質，涉及數據庫技術領域，其中的方法包括：在源數據庫和目標數據庫提供服務的狀態下，基于數據映射信息將源數據庫表中的數據同步在目標數據庫表中；在源數據庫表和目標數據庫表之間進行數據同步操作后，對源數據庫表和目標數據庫表中的數據進行校驗處理，基于校驗結果判斷數據同步操作是否正確并進行相應的處理；在判斷數據同步操作正確后，基于數據映射信息將目標數據庫表中的新增數據同步在源數據庫表中。本公開的方法、裝置以及存儲介質，能夠解決線上系統數據遷移停機的問題，適用于線上不可中斷服務的數據遷移，并能夠實現異構數據庫、異構表結構之間的數據遷移。

技術領域

本公開涉及數據庫技術領域，尤其涉及一種數據庫數據遷移方法、裝置以及存儲介質。

背景技術

現有的數據遷移通常依賴于數據庫廠商自身帶的數據遷移工具，專業性強，功能完備，適合特定數據庫間大批量數據遷移，但是使用面窄，價格高；并且現有的大部分遷移工具都不支持不停服務進行數據遷移及切換，對于核心業務系統來說并不適用。

發明內容

有鑒于此，本發明要解決的一個技術問題是提供一種數據庫數據遷移方法、裝置以及存儲介質。

根據本公開的第一方面，提供一種數據庫數據遷移方法，包括：配置源數據庫表和目標數據庫表之間的數據映射信息；在源數據庫和目標數據庫提供服務的狀態下，基于所述數據映射信息將所述源數據庫表中的數據同步在所述目標數據庫表中；在所述源數據庫表和所述目標數據庫表之間進行數據同步操作后，對所述源數據庫表和所述目標數據庫表中的數據進行校驗處理，基于校驗結果判斷所述數據同步操作是否正確并進行相應的處理；在判斷所述數據同步操作正確后，基于所述數據映射信息將所述目標數據庫表中的新增數據同步在所述源數據庫表中。

可選地，配置所述源數據庫和所述目標數據庫的數據鏈接配置信息；基于所述數據鏈接配置信息分別配置源數據庫連接池、目標數據庫鏈接池，用以分別存放源數據庫鏈接、目標數據庫鏈接。

可選地，所述數據鏈接配置信息包括：數據庫類型、鏈接地址、連接字符串以及數據庫用戶名密碼；所述基于所述數據鏈接配置信息分別配置源數據庫連接池、目標數據庫鏈接池包括：創建所述源數據庫連接池和所述目標數據庫鏈接池，并確定最大數據庫連接數；基于所述數據鏈接信息以及所述最大數據庫連接數，分別生成所述源數據庫鏈接和所述目標數據庫鏈接，并分別放入所述源數據庫連接池和所述目標數據庫鏈接池中。

可選地，所述數據映射信息包括：數據表之間的對應關系和數據表字段之間的映射關系；所述基于所述數據映射信息將所述源數據庫表中的數據同步在所述目標數據庫表中包括：使用所述源數據庫連接池中的源數據庫鏈接和所述目標數據庫鏈接池中的目標數據庫鏈接，基于所述數據映射信息將所述源數據庫表中的數據同步在所述目標數據庫表中。

可選地，所述使用所述源數據庫連接池中的源數據庫鏈接和所述目標數據庫鏈接池中的目標數據庫鏈接，基于所述數據映射信息將所述源數據庫表中的數據同步在所述目標數據庫表中包括：配置與所述源數據庫表相對應的數據同步頻率信息；生成與所述源數據庫表相對應的第一任務，基于所述數據同步頻率信息設置所述第一任務的執行頻率；其中，使用與所述源數據表相對應的線程執行所述第一任務；基于所述第一任務從所述目標數據庫鏈接池中獲取目標數據庫鏈接，使用獲取的目標數據庫鏈接獲取需要同步的數據信息；基于所述第一任務從所述源數據庫連接池中獲取源數據庫鏈接，使用獲取的源數據庫鏈接并基于所述需要同步的數據信息從所述源數據庫表中獲取需要同步的數據；使用獲取的目標數據庫鏈接并基于所述數據映射信息，將所述需要同步的數據插入所述目標數據庫表中。

可選地，所述使用獲取的目標數據庫鏈接獲取需要同步的數據信息包括：使用獲取的目標數據庫鏈接查詢與所述目標數據庫表中數據記錄相對應的最大ID值；所述使用獲取的源數據庫鏈接并基于所述需要同步的數據信息從所述源數據庫表中獲取需要同步的數據包括：使用獲取的源數據庫鏈接從所述源數據庫表中獲取數據記錄ID值大于所述最大ID值的數據，作為所述需要同步的數據。