[發(fā)明專利]數據在線遷移方法和裝置

有效

• 申請?zhí)枺?/td>: 201711394685.2
• 申請日: 2017-12-21
• 公開（公告）號: CN110019133B
• 公開（公告）日: 2021-07-13
• 發(fā)明（設計）人: 邢立庭;孫海濱
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;楊曉偉

1.一種數據在線遷移方法，其特征在于，所述方法包括：

定時查詢緩存中心的遷移開關標識和雙操作開關標識；

在所述遷移開關標識為開啟狀態(tài)、且所述雙操作開關標識為開啟狀態(tài)時，從源數據庫中獲取待遷移的數據，并將其存至任務池；

基于多線程或分布式任務執(zhí)行機制將所述任務池中的數據遷移至目標數據庫，包括：在從任務池獲取到單條數據之后，根據所述單條數據對應的源數據庫表ID查詢緩存中心的已遷移數據信息表；若查詢結果為空，則對所述單條數據執(zhí)行遷移操作，并在遷移成功之后將所述單條數據對應的源數據庫表ID、以及目標數據庫表ID寫入所述已遷移數據信息表；若查詢結果不為空，則對所述單條數據不執(zhí)行遷移操作；

將所述單條數據對應的源數據庫表ID、以及目標數據庫表ID寫入所述已遷移數據信息表的步驟包括：將所述單條數據對應的源數據庫表ID為Key、目標數據庫表ID為Value存入一張已遷移數據信息表；并且，將所述單條數據對應的目標數據庫表ID作為Key、源數據庫表ID作為Value存入另一張已遷移數據信息表中。

2.根據權利要求1所述的方法，其特征在于，所述從源數據庫中獲取待遷移的數據，并將其存至任務池的步驟包括：

記錄當前時間，將源數據庫中數據創(chuàng)建時間小于等于所述當前時間的數據作為待遷移的數據，并將所述待遷移的數據存至任務池；

或者，

記錄源數據庫表ID的當前最大值，將源數據庫表ID小于等于所述當前最大值的數據作為待遷移的數據，并將所述待遷移的數據存至任務池。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在確認緩存中心的所述雙操作開關標識為開啟狀態(tài)之后，根據實時接收的數據操作請求對源數據庫和目標數據庫進行雙操作；所述雙操作包括：數據雙寫操作、數據雙刪除操作或數據雙改操作。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在數據遷移完成之后，對遷移至目標數據庫的數據進行校驗。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

配置遷移開關標識和雙操作開關標識，并將配置后的遷移開關標識和雙操作開關標識寫入緩存中心。

6.一種數據在線遷移裝置，其特征在于，所述裝置包括：

查詢模塊，用于定時查詢緩存中心的遷移開關標識和雙操作開關標識；

獲取模塊，用于在所述遷移開關標識為開啟狀態(tài)、且所述雙操作開關標識為開啟狀態(tài)時，從源數據庫中獲取待遷移的數據，并將其存至任務池；

遷移模塊，用于基于多線程或分布式任務執(zhí)行機制將所述任務池中的數據遷移至目標數據庫，包括：在從任務池獲取到單條數據之后，所述遷移模塊根據所述單條數據對應的源數據庫表ID查詢緩存中心的已遷移數據信息表；若查詢結果為空，則所述遷移模塊對所述單條數據執(zhí)行遷移操作，并在遷移成功之后將所述單條數據對應的源數據庫表ID、以及目標數據庫表ID寫入所述已遷移數據信息表；若查詢結果不為空，則所述遷移模塊對所述單條數據不執(zhí)行遷移操作；

將所述單條數據對應的源數據庫表ID、以及目標數據庫表ID寫入所述已遷移數據信息表的步驟包括：將所述單條數據對應的源數據庫表ID為Key、目標數據庫表ID為Value存入一張已遷移數據信息表；并且，將所述單條數據對應的目標數據庫表ID作為Key、源數據庫表ID作為Value存入另一張已遷移數據信息表中。

7.根據權利要求6所述的裝置，其特征在于，所述獲取模塊從源數據庫中獲取待遷移的數據，并將其存至任務池包括：

所述獲取模塊記錄當前時間，將源數據庫中數據創(chuàng)建時間小于等于所述當前時間的數據作為待遷移的數據，并將所述待遷移的數據存至任務池；

或者，

所述獲取模塊記錄源數據庫表ID的當前最大值，將源數據庫表ID小于等于所述當前最大值的數據作為待遷移的數據，并將所述待遷移的數據存至任務池。