[發明專利]一種基于雙寫的數據庫擴展的方法及其裝置

在審

• 申請號: 202011504646.5
• 申請日: 2020-12-18
• 公開（公告）號: CN112527775A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 劉德建;陳宏展;岳萬恕;鄭彬
• 申請（專利權）人: 福建天晴數碼有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/215;G06F16/23;G06F16/27
• 代理公司: 福州旭辰知識產權代理事務所(普通合伙) 35233
• 代理人: 程勇

1.一種基于雙寫的數據庫擴展的方法，其特征在于：所述方法包括如下步驟：

步驟S1、對舊服務進行升級，讓服務同時操作新舊兩庫，并對數據修改進行雙寫到新庫；

步驟S2、設置離線的數據遷移工具，將異步的數據進行同步；

步驟S3、同時進行數據校驗，保證完全一致性后進行數據庫流量遷移，對數據庫的流量從舊庫遷移到新庫，改為由新庫提供線上服務。

2.根據權利要求1所述的一種基于雙寫的數據庫擴展的方法，其特征在于：所述步驟S1進一步具體為：對舊服務進行升級，對數據進行修改的要寫接口，該修改主要是對數據進行insert、delete和update操作，在新庫上進行相同的操作即進行雙寫，而對于微服務接口這三個操作需要舊庫和新庫同時執行；由于此時新庫中是沒有數據，所以對于舊庫、新庫執行操作影響的行數不一樣，但是仍然是舊服務對線上提供服務，不影響業務；該舊服務升級風險系數低，即第一、寫接口的數量有限，則改動點比較少；第二、新庫中的寫操作執行成功與否，并不會對業務產生任何影響，因為一直是舊庫對線上提供服務。

3.根據權利要求1所述的一種基于雙寫的數據庫擴展的方法，其特征在于：所述步驟S2進一步具體為：數據遷移工具將數據從舊庫遷移到新庫，整個過程中依然是舊庫對線上提供服務；遷移任何時間發現問題，能把新庫中的數據清掉重來；數據遷移工具的實現方式為：將舊庫與新庫進行數據對應起來，然后進行數據解析服務，將舊庫的數據解析生成目標數據，將目標數據保存到新庫中。

4.根據權利要求1所述的一種基于雙寫的數據庫擴展的方法，其特征在于：所述步驟S3進一步具體為：數據遷移完，新舊庫的數據已經一致，因為將雙寫進行了前置；但是極端情況下，發生了一個新庫和舊庫的刪除操作，刪除操作完，遷移數據將這些數據又插入到了新庫中，這種不一致會導致新庫中比舊庫中會多幾條數據，為了保證數據的一致性，在切庫之前將舊庫中的數據與新庫進行比較，進行數據質量檢查，并以舊庫數據為準，直到數據完全一致，發現問題可及時進行回滾，風險低，服務對數據庫的流量從舊庫遷移到新庫，由新庫提供線上服務，此時能對數據庫就行秒級的讀操作，等日志重復程序完全追上之后，進行一個流量的切換。

5.一種基于雙寫的數據庫擴展的裝置，其特征在于：所述裝置包括雙寫模塊、數據遷移模塊、校驗模塊；

所述雙寫模塊，用于對舊服務進行升級，讓服務同時操作新舊兩庫，并對數據修改進行雙寫到新庫；

所述數據遷移模塊，設置離線的數據遷移工具，將異步的數據進行同步；

所述校驗模塊，用于進行數據校驗，保證完全一致性后進行數據庫流量遷移，對數據庫的流量從舊庫遷移到新庫，改為由新庫提供線上服務。

6.根據權利要求5所述的一種基于雙寫的數據庫擴展的裝置，其特征在于：所述雙寫模塊的實現方式進一步具體為：對舊服務進行升級，對數據進行修改的要寫接口，該修改主要是對數據進行insert、delete和update操作，在新庫上進行相同的操作即進行雙寫，而對于微服務接口這三個操作需要舊庫和新庫同時執行；由于此時新庫中是沒有數據，所以對于舊庫、新庫執行操作影響的行數不一樣，但是仍然是舊服務對線上提供服務，不影響業務；該舊服務升級風險系數低，即第一、寫接口的數量有限，則改動點比較少；第二、新庫中的寫操作執行成功與否，并不會對業務產生任何影響，因為一直是舊庫對線上提供服務。

7.根據權利要求5所述的一種基于雙寫的數據庫擴展的裝置，其特征在于：所述數據遷移模塊的實現方式進一步具體為：數據遷移工具將數據從舊庫遷移到新庫，整個過程中依然是舊庫對線上提供服務；遷移任何時間發現問題，能把新庫中的數據清掉重來；數據遷移工具的實現方式為：將舊庫與新庫進行數據對應起來，然后進行數據解析服務，將舊庫的數據解析生成目標數據，將目標數據保存到新庫中。

8.根據權利要求5所述的一種基于雙寫的數據庫擴展的裝置，其特征在于：所述校驗模塊的實現方式進一步具體為：數據遷移完，新舊庫的數據已經一致，因為將雙寫進行了前置；但是極端情況下，發生了一個新庫和舊庫的刪除操作，刪除操作完，遷移數據將這些數據又插入到了新庫中，這種不一致會導致新庫中比舊庫中會多幾條數據，為了保證數據的一致性，在切庫之前將舊庫中的數據與新庫進行比較，進行數據質量檢查，并以舊庫數據為準，直到數據完全一致，發現問題可及時進行回滾，風險低，服務對數據庫的流量從舊庫遷移到新庫，由新庫提供線上服務，此時能對數據庫就行秒級的讀操作，等日志重復程序完全追上之后，進行一個流量的切換。