[發明專利]數據庫的數據遷移方法及系統

在審

• 申請號: 202110505774.X
• 申請日: 2021-05-10
• 公開（公告）號: CN113157670A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 李規化;劉春雨;朱正浩;程君陶
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;王濤

一種數據庫的數據遷移方法及系統，涉及數據庫應用領域，可應用于金融領域和其他領域，所述方法包含：將第一數據庫主庫中數據同步至第一數據庫備庫中，斷開所述第一數據庫主庫和備庫之間的連接并記錄第一數據庫的日志記錄序列號；將所述第一數據庫備庫中的全量數據遷移至第二數據庫，并通過數據表清單和數據記錄數分析所述第一數據庫備庫向所述第二數據庫的數據遷移情況；當數據遷移情況符合預設條件時，根據所述日志記錄序列號將所述第一數據庫主庫和備庫斷開之后的所述第一數據庫中的業務運營產生的增量數據遷移至所述第二數據庫；通過反向器抓取第一服務器和第二服務器的應用請求，將所述應用請求同時發送至所述第一數據庫和所述第二數據庫。

技術領域

本發明涉及數據庫應用領域，可應用于金融領域和其他領域，尤指一種數據庫的數據遷移方法及系統。

背景技術

隨著國際形勢發展，對于金融安全越來越受重視，金融系統的自主可控是未來的重點發展和轉型方向。其中自主可控的數據庫替代傳統數據庫是其中的一個方向，持續轉型將成為一項常態化的工作，而自主可控的數據庫目前剛發展起來，對于金融系統的轉型存在一定風險，因此往往需要轉型上線后通過灰度方式與傳統數據庫并行運行。

但傳統數據庫的數據遷移方式目前存在以下幾個問題：依賴于傳統數據庫本身的核心產品或工具，一般僅支持同構數據庫間的數據遷移，不支持異構數據庫間的數據遷移；一般的數據遷移方式為停機下的存量數據遷移、或單向的增量數據同步，停機一次完成數據庫的遷移，停機時間長；數據遷移之后業務運行一段時間出現問題難以回退，或者需要長時間停機后進行回退恢復，對業務連續性運營影響非常大。

發明內容

本發明目的在于提供一種數據庫的數據遷移方法及系統，以保證最終遷移數據一致性，又可確保過渡期間風險可控，容易回退。

為達上述目的，本發明所提供的數據庫的數據遷移方法，具體包含：將第一數據庫主庫中數據同步至第一數據庫備庫中，斷開所述第一數據庫主庫和備庫之間的連接并記錄第一數據庫的日志記錄序列號；將所述第一數據庫備庫中的全量數據遷移至第二數據庫，并通過數據表清單和數據記錄數分析所述第一數據庫備庫向所述第二數據庫的數據遷移情況；當數據遷移情況符合預設條件時，根據所述日志記錄序列號將所述第一數據庫主庫和備庫斷開之后的所述第一數據庫中的業務運營產生的增量數據遷移至所述第二數據庫；通過反向器抓取第一服務器和第二服務器的應用請求，將所述應用請求同時發送至所述第一數據庫和所述第二數據庫。

在上述數據庫的數據遷移方法中，優選的，將所述第一數據庫備庫中的全量數據遷移至第二數據庫包含：獲取所述第一數據庫備庫的全量表信息和記錄信息；當所述記錄信息大于預設閾值時，根據預設規則對所述全量表信息和所述記錄信息進行拆分生成多個數據塊；根據數據塊從所述第一數據庫備庫中獲取所述數據塊涉及的全部數據并遷移至所述第二數據庫。

在上述數據庫的數據遷移方法中，優選的，根據數據塊從所述第一數據庫備庫中獲取所述數據塊涉及的全部數據并遷移至所述第二數據庫包含：將獲取的所述數據塊涉及的全部數據寫入緩存隊列中并標注為已讀取；通過緩存隊列中獲取所述全部數據，將所述全部數據轉化為執行查詢語句并發送至所述第二數據庫完成數據遷移。

在上述數據庫的數據遷移方法中，優選的，通過數據表清單和數據記錄數分析所述第一數據庫備庫向所述第二數據庫的數據遷移情況包含：通過數據表清單和數據記錄數比較所述第一數據庫備庫和所述第二數據庫，獲得比較結果；當比較結果不一致時，對差異項數據表進行補全處理。

在上述數據庫的數據遷移方法中，優選的，根據所述日志記錄序列號將所述第一數據庫主庫和備庫斷開之后的所述第一數據庫中的業務運營產生的增量數據遷移至所述第二數據庫包含：根據所述日志記錄序列號讀取所述第一數據庫主庫的增量數據日志；根據預設單向同步的表信息，從所述增量數據日志中獲得對應的操作查詢語句和所述操作查詢語句的執行順序；根據所述操作查詢語句的執行順序將所述操作查詢語句依次提交至所述第二數據庫執行，完成增量數據遷移。