[發明專利]數據遷移方法、裝置、計算機設備和存儲介質

有效

• 申請號: 201810103315.7
• 申請日: 2018-02-01
• 公開（公告）號: CN108304553B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 陳果;徐鑫
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 易皎鶴

1.一種數據遷移方法，所述方法包括：

查詢中間數據庫中是否存在未從源數據庫導入至目標數據庫的數據的當前索引；若存在，則從所述中間數據庫獲取與所述當前索引對應的未導入數據；其中，在數據從源數據庫導入至目的數據庫時，若目的數據庫發生異常或者傳輸線路發生異常，則先將這期間需要遷移的數據先存儲在中間數據庫中；待異常問題被解決后，再將中間數據庫中的數據遷移至目的數據庫中；中間數據庫是通過索引管理存儲的數據，一個索引對應一條數據；當前索引是根據中間數據庫中的索引建立的；每隔一段時間，檢測在這段時間內中間數據庫中是否存在需要導入目的數據庫中的異常信息；

將根據中間數據庫中的索引生成的當前索引根據預設分批邏輯分為多個批次；再通過Redis將分批完的數據的每一批次啟動一個線程執行數據導入的操作，最后對所有批次的導入結果進行統計匯總，得到綜合導入結果；

獲取所述綜合導入結果，并查詢所述中間數據庫中是否存在未從源數據庫導入至目標數據庫的新的數據的索引；若存在，則根據所述綜合導入結果和所述新的數據的索引更新所述當前索引；

根據從所述中間數據庫中獲取與更新后的所述當前索引對應的未導入數據，并將與更新后的所述當前索引對應的所述未導入數據導入目標數據庫。

2.根據權利要求1所述的方法，其特征在于，將與所述當前索引對應的所述未導入數據導入所述目標數據庫，包括：

按照預設分批邏輯將與所述當前索引對應的所述未導入數據進行分批處理；

將分批處理后的所述未導入數據分批導入所述目標數據庫；

所述獲取與所述當前索引對應的所述未導入數據導入所述目標數據庫的綜合導入結果，包括：

獲取每一批所述未導入數據導入所述目標數據庫的批次導入結果，并根據所述批次導入結果得到綜合導入結果。

3.根據權利要求1所述的方法，其特征在于，所述將與更新后的所述當前索引對應的所述未導入數據導入目標數據庫，包括：

統計與更新后的所述當前索引對應的所述未導入數據的條數，當與更新后的所述當前索引對應的所述未導入數據的條數大于0且小于預設條數時，將更新后的當前索引清空；

將與更新后的所述當前索引對應的所述未導入數據導入到目標數據庫中。

4.根據權利要求1所述的方法，其特征在于，所述將與更新后的所述當前索引對應的所述未導入數據導入目標數據庫，包括：

統計與更新后的所述當前索引對應的所述未導入數據的條數，當與更新后的所述當前索引對應的所述未導入數據的條數大于等于預設條數時，將與更新后的所述當前索引對應的所述未導入數據導入到所述目標數據庫中，并獲取與更新后的所述當前索引對應的所述未導入數據導入到所述目標數據庫后的綜合導入結果后；繼續查詢所述中間數據庫中是否存在未從源數據庫導入至目標數據庫的新的數據的索引。

5.根據權利要求3或4所述的方法，其特征在于，所述統計與更新后的所述當前索引對應的所述未導入數據的條數之后，還包括：

當與更新后的所述當前索引對應的所述未導入數據的條數小于等于0時，則將更新后的當前索引清空。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

當未獲取到與所述當前索引對應的未導入數據時，則輸出索引錯誤信息；

接收針對所述當前索引的修正指令；

根據所述修正指令建立所述當前索引以及所述當前索引對應的未導入數據的映射關系，并繼續從所述中間數據庫獲取與所述當前索引對應的未導入數據。