[發明專利]一種數據遷移的方法、系統、設備以及介質

在審

• 申請號: 202010085526.X
• 申請日: 2020-02-09
• 公開（公告）號: CN111291023A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 何若永
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰

本發明公開了一種數據遷移的方法，包括以下步驟：獲取轉存參數；創建變更記錄表；根據所述轉存參數創建多線程并將待遷移的數據進行分片以得到多個分片數據；建立所述多個分片數據與所述多線程中每一個單線程的映射，以利用所述每一個單線程將對應的分片數據遷移到目標數據庫，并利用所述變更記錄表記錄遷移過程中產生的數據變更；響應于所述多個分片數據遷移結束，根據所述變更記錄表中的數據變更記錄對所述目標數據庫中對應的數據進行變更。本發明還公開了一種系統、計算機設備以及可讀存儲介質。本發明提出的方案實現了不停機跨數據庫并行抽取并轉存超大規模海量數據的技術效果，提高了數據遷移效率，保證了數據遷移的完整性和精確性。

技術領域

本發明涉及數據庫領域，具體涉及一種數據遷移的方法、系統、設備以及存儲介質。

背景技術

時代在飛速變遷，信息系統并非是一成不變的，當面對需要進行顛覆式的升級時，存在著需要將所有涉及的數據全部遷移的可能，不局限于此，有很多需要數據遷移的各類需求往往也亟需解決完整搬遷數據的問題。一般來講，為力求簡潔，同時保障數據遷移的完整性與精確性，技術人員傾向于停機操作，即暫停開放在線服務，關閉所有可能影響數據的系統，然后用比較簡單的方法遷移數據。當面對一些比較核心的無法停機的服務時，那些方法不免無法保證數據的完整性與精確性，因為數據遷移并非短時間就可以完成，遷移過程中可能存在數據變更，這很有可能導致遷移數據因為時效性出現丟失準確度的問題，使得遷移數據存在錯誤與丟失的可能。當數據量規模龐大，遷移數據的周期非常漫長，而且影響數據的服務高頻率執行時，這種問題將變得更加不容樂觀。

發明內容

有鑒于此，為了克服上述問題的至少一個方面，本發明提出一種數據遷移的方法，包括以下步驟：

獲取轉存參數；

創建變更記錄表；

根據所述轉存參數創建多線程并將待遷移的數據進行分片以得到多個分片數據；

建立所述多個分片數據與所述多線程中每一個單線程的映射，以利用所述每一個單線程將對應的分片數據遷移到目標數據庫，并利用所述變更記錄表記錄遷移過程中產生的數據變更；

響應于所述多個分片數據遷移結束，根據所述變更記錄表中的數據變更記錄對所述目標數據庫中對應的數據進行變更。

在一些實施例中，根據所述轉存參數將待遷移的數據進行分片以得到多個分片數據，進一步包括：

根據所述轉存參數確定每一個分片數據的分片大小；

利用所述分片大小確定多個分片索引；

將連續的兩個分片索引之間的數據作為所述分片數據。

在一些實施例中，利用所述分片大小確定多個分片索引，進一步包括：

將處于所述分片大小整數倍位置的主鍵或聯合主鍵作為所述分片索引，且將第一個和最后一個的主鍵或聯合主鍵作為所述分片索引。

在一些實施例中，創建變更記錄表，進一步包括：

建立增加觸發器、修改觸發器以及刪除觸發器。

在一些實施例中，利用所述變更記錄表記錄遷移過程中產生的數據變更，進一步包括：

利用所述增加觸發器、所述修改觸發器和/或所述刪除觸發器將遷移過程中產生的數據變更對應的參數信息記錄到所述變更記錄表中。

在一些實施例中，根據所述變更記錄表中的數據變更記錄對所述目標數據庫中對應的數據進行變更，進一步包括：

響應于所述變更記錄表中的數據變更記錄為刪除，將所述目標數據庫中的對應的數據刪除。

在一些實施例中，還包括：