[發明專利]數據庫的數據遷移方法及系統

在審

• 申請號: 202110505774.X
• 申請日: 2021-05-10
• 公開（公告）號: CN113157670A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 李規化;劉春雨;朱正浩;程君陶
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;王濤

1.一種數據庫的數據遷移方法，其特征在于，所述方法包含：

將第一數據庫主庫中數據同步至第一數據庫備庫中，斷開所述第一數據庫主庫和備庫之間的連接并記錄第一數據庫的日志記錄序列號；

將所述第一數據庫備庫中的全量數據遷移至第二數據庫，并通過數據表清單和數據記錄數分析所述第一數據庫備庫向所述第二數據庫的數據遷移情況；

當數據遷移情況符合預設條件時，根據所述日志記錄序列號將所述第一數據庫主庫和備庫斷開之后的所述第一數據庫中的業務運營產生的增量數據遷移至所述第二數據庫；

通過反向器抓取第一服務器和第二服務器的應用請求，將所述應用請求同時發送至所述第一數據庫和所述第二數據庫。

2.根據權利要求1所述的數據庫的數據遷移方法，其特征在于，將所述第一數據庫備庫中的全量數據遷移至第二數據庫包含：

獲取所述第一數據庫備庫的全量表信息和記錄信息；

當所述記錄信息大于預設閾值時，根據預設規則對所述全量表信息和所述記錄信息進行拆分生成多個數據塊；

根據數據塊從所述第一數據庫備庫中獲取所述數據塊涉及的全部數據，并遷移至所述第二數據庫。

3.根據權利要求2所述的數據庫的數據遷移方法，其特征在于，根據數據塊從所述第一數據庫備庫中獲取所述數據塊涉及的全部數據，并遷移至所述第二數據庫包含：

將獲取的所述數據塊涉及的全部數據寫入緩存隊列中并標注為已讀取；

通過緩存隊列中獲取所述全部數據，將所述全部數據轉化為執行查詢語句，并發送至所述第二數據庫完成數據遷移。

4.根據權利要求1所述的數據庫的數據遷移方法，其特征在于，通過數據表清單和數據記錄數分析所述第一數據庫備庫向所述第二數據庫的數據遷移情況包含：

通過數據表清單和數據記錄數比較所述第一數據庫備庫和所述第二數據庫，獲得比較結果；

當比較結果不一致時，對差異項數據表進行補全處理。

5.根據權利要求1所述的數據庫的數據遷移方法，其特征在于，根據所述日志記錄序列號將所述第一數據庫主庫和備庫斷開之后的所述第一數據庫中的業務運營產生的增量數據遷移至所述第二數據庫包含：

根據所述日志記錄序列號讀取所述第一數據庫主庫的增量數據日志；

根據預設單向同步的表信息，從所述增量數據日志中獲得對應的操作查詢語句和所述操作查詢語句的執行順序；

根據所述操作查詢語句的執行順序將所述操作查詢語句依次提交至所述第二數據庫執行，完成增量數據遷移。

6.根據權利要求1所述的數據庫的數據遷移方法，其特征在于，通過反向器抓取第一服務器和第二服務器的應用請求，將所述應用請求同時發送至所述第一數據庫和所述第二數據庫包含：

攔截所述第一服務器和所述第二服務器發起的業務交易請求；

解析所述業務交易請求，當所述業務交易請求為雙寫清單請求時，將所述業務交易請求對應的交易寫入所述第一數據庫，并反向將所述交易請求提供至所述第二數據庫。

7.一種數據庫的數據遷移系統，其特征在于，所述系統包含：數據采集模塊、存量數據遷移模塊、單向增量數據遷移模塊和反向器雙寫模塊；

所述數據采集模塊用于將第一數據庫主庫中數據同步至第一數據庫備庫中，斷開所述第一數據庫主庫和備庫之間的連接并記錄第一數據庫的日志記錄序列號；

所述存量數據遷移模塊用于將所述第一數據庫備庫中的全量數據遷移至第二數據庫，并通過數據表清單和數據記錄數分析所述第一數據庫備庫向所述第二數據庫的數據遷移情況；

所述單向增量數據遷移模塊用于當數據遷移情況符合預設條件時，根據所述日志記錄序列號將所述第一數據庫主庫和備庫斷開之后的所述第一數據庫中的業務運營產生的增量數據遷移至所述第二數據庫；

所述反向器雙寫模塊用于通過反向器抓取第一服務器和第二服務器的應用請求，將所述應用請求同時發送至所述第一數據庫和所述第二數據庫。