[發明專利]一種基于sql的增量數據同步獲取方法及系統

在審

• 申請號: 202110345061.1
• 申請日: 2021-03-31
• 公開（公告）號: CN112883118A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 朱傳舉;方建勛;張明哲
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種基于sql的增量數據同步獲取方法，其特征是所述的方法具體步驟包括：

S1在數據庫采集端通過執行數據庫sql創建邏輯復制槽；

S2采集程序實時獲取表結構和邏輯解碼后的增量數據；

S3將邏輯解碼后的字符串數據集二次解析并序列化后通過cmsp傳輸；

S4入庫端根據數據庫類型反序列化獲取數據，將數據寫入數據庫；

S5當采集需求結束后清理創建的邏輯復制槽；

S6獲取數據庫增量數據。

2.根據權利要求1所述的方法，其特征是所述S1在數據庫采集端通過執行數據庫sql創建邏輯復制槽的具體步驟包括：

S101針對需要同步的表創建邏輯復制槽；

S102根據業務需求確定邏輯槽管理表的數據同步信息的數量。

3.根據權利要求2所述的方法，其特征是所述S3將邏輯解碼后的字符串數據集二次解析并序列化后通過cmsp傳輸的具體步驟包括：

S301通過查詢表結構變化獲取采集表列信息；

S302將結果集中取需要同步的表和同步的字段相結合；

S303將得到的結果集序列化放到cmsp中傳輸。

4.根據權利要求3所述的方法，其特征是所述S6的具體步驟包括：

S601解析增量數據判斷是否為表信息

S602解析字符串獲取模式名+表名，同時獲取dml的增量類型；

S603按字符串存儲格式，循環解析列名及列數據內容；

S604入庫端接收并組裝數據。

5.一種基于sql的增量數據同步獲取系統，其特征是所述的系統具體包括邏輯解碼模塊、數據采集模塊、數據解析模塊、數據寫入模塊、槽位清理模塊和代碼實現模塊：

邏輯解碼模塊：在數據庫采集端通過執行數據庫sql創建邏輯復制槽；

數據采集模塊：采集程序實時獲取表結構和邏輯解碼后的增量數據；

數據解析模塊：將邏輯解碼后的字符串數據集二次解析并序列化后通過cmsp傳輸；

數據寫入模塊：入庫端根據數據庫類型反序列化獲取數據，將數據寫入數據庫；

槽位清理模塊：當采集需求結束后清理創建的邏輯復制槽；

代碼實現模塊：獲取數據庫增量數據。

6.根據權利要求5所述的系統，其特征是所述邏輯解碼模塊在數據庫采集端通過執行數據庫sql創建邏輯復制槽具體包括創建模塊和管理模塊：

創建模塊：針對需要同步的表創建邏輯復制槽；

管理模塊：根據業務需求確定復制槽管理表的數據同步信息的數量。

7.根據權利要求6所述的系統，其特征是所述數據解析模塊將邏輯解碼后的字符串數據集二次解析并序列化后通過cmsp傳輸的具體包括結構采集模塊、結果處理模塊和數據傳輸模塊：

結構采集模塊：通過查詢表結構變化獲取采集表列信息；

結果處理模塊：將結果集中取需要同步的表和同步的字段相結合；

數據傳輸模塊：將得到的結果集序列化放到cmsp中傳輸。

8.根據權利要求7所述的系統，其特征是所述代碼實現模塊獲取數據庫增量數據具體包括信息處理模塊、字符串處理模塊、循環解析模塊和數據組裝模塊：

信息處理模塊：解析增量數據判斷是否為表信息；

字符串處理模塊：解析字符串獲取模式名+表名，同時獲取dml的增量類型；

循環解析模塊：按字符串存儲格式，循環解析列名及列數據內容；

數據組裝模塊：入庫端接收并組裝數據。