[發(fā)明專利]一種基于CMSP的MySQLBinlog日志解析的增量同步方法

有效

• 申請?zhí)枺?/td>: 201811569833.4
• 申請日: 2018-12-21
• 公開（公告）號: CN109739931B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計）人: 李欽格;李朝銘
• 申請（專利權(quán)）人: 浪潮軟件股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/28
• 代理公司: 濟南信達專利事務(wù)所有限公司 37100
• 代理人: 闞恭勇

本發(fā)明提供一種基于CMSP的MySQLBinlog日志解析的增量同步方法，屬于結(jié)構(gòu)化數(shù)據(jù)抽取技術(shù)領(lǐng)域，本發(fā)明通過解析MySQL Binlog日志獲取增量數(shù)據(jù)。MySQL這部分?jǐn)?shù)據(jù)是二進制格式的數(shù)據(jù)，按照MySQL的通信協(xié)議，將二進制數(shù)據(jù)轉(zhuǎn)換成ASCII值的數(shù)據(jù)。這部分?jǐn)?shù)據(jù)涵蓋了MySQL數(shù)據(jù)庫增、刪、改的信息。通過對這部分?jǐn)?shù)據(jù)進行格式轉(zhuǎn)換，轉(zhuǎn)換為一種約定的協(xié)議格式，基于高效、穩(wěn)定、安全的云消息傳輸平臺，可以實現(xiàn)MySQL數(shù)據(jù)增量同步到MySQL、DB2、Oracle等同源或異源數(shù)據(jù)庫。

技術(shù)領(lǐng)域

本發(fā)明涉及結(jié)構(gòu)化數(shù)據(jù)抽取技術(shù)，尤其涉及一種基于CMSP的MySQLBinlog日志解析的增量同步方法。

背景技術(shù)

隨著科技進步和信息技術(shù)的不斷發(fā)展，數(shù)據(jù)在人們生活中扮演著越來越重要的角色。大數(shù)據(jù)這一概念被越來越多的人提及和重視，各類數(shù)據(jù)的匯集、加工和分析也顯得越來越重要。智慧城市和健康醫(yī)療是當(dāng)下科技前沿的先鋒代表，但其依賴的基礎(chǔ)依然是浩瀚有序的各種數(shù)據(jù)。因此如何實時高效獲取準(zhǔn)確的數(shù)據(jù)變得尤為重要，各種同源和異源數(shù)據(jù)庫之間的數(shù)據(jù)匯聚逐步被提上日程。

發(fā)明內(nèi)容

為了解決以上技術(shù)問題，本發(fā)明提出了一種基于CMSP的MySQLBinlog日志解析的增量同步方法，基于高效、可靠、穩(wěn)定的CMSP(云消息服務(wù)平臺)，MySQL Binlog的增量同步技術(shù)可以準(zhǔn)實時的將MySQL數(shù)據(jù)庫中增、刪、改的各類數(shù)據(jù)同步到同源或者異源數(shù)據(jù)庫中，從而實現(xiàn)數(shù)據(jù)匯聚的目的。。

本發(fā)明的技術(shù)方案是：

一種基于CMSP實現(xiàn)MySQL Binlog日志解析的增量同步方法，通過解析MySQL的Binlog二進制數(shù)據(jù)，可以準(zhǔn)實時獲取MySQL數(shù)據(jù)庫中增、刪、改的數(shù)據(jù)，基于高效、可靠、穩(wěn)定的云消息服務(wù)平臺，解決了增量數(shù)據(jù)的同步問題。通過將解析后的數(shù)據(jù)轉(zhuǎn)換成通用的協(xié)議數(shù)據(jù)格式，實現(xiàn)了異源和同源數(shù)據(jù)庫之間的數(shù)據(jù)匯集問題。

本發(fā)明通過解析MySQL Binlog日志獲取增量數(shù)據(jù)。MySQL這部分?jǐn)?shù)據(jù)是二進制格式的數(shù)據(jù)，按照MySQL的通信協(xié)議，將二進制數(shù)據(jù)轉(zhuǎn)換成ASCII值的數(shù)據(jù)。這部分?jǐn)?shù)據(jù)涵蓋了MySQL數(shù)據(jù)庫增、刪、改的信息。通過對這部分?jǐn)?shù)據(jù)進行格式轉(zhuǎn)換，轉(zhuǎn)換為一種約定的協(xié)議格式，基于高效、穩(wěn)定、安全的云消息傳輸平臺，可以實現(xiàn)MySQL數(shù)據(jù)增量同步到MySQL、DB2、Oracle等同源或異源數(shù)據(jù)庫。

進一步的包括，基于CMSP的MySQLBinlog日志解析的增量同步方法按照業(yè)務(wù)功能劃分，主要分為三部分，分別為獲取二進制日志、二進制日志解析和格式轉(zhuǎn)換。

其中，

二進制日志獲取是整個設(shè)計中的最基礎(chǔ)部分，后續(xù)的解析完全依賴于日志的獲取。

通過調(diào)用Mysql的通信協(xié)議，模擬從庫向主庫發(fā)送dump請求命令。主庫在收到請求命令后，會主動推送變化的日志信息。

二進制日志解析是整個增量同步方法中的核心部分，功能是將二進制數(shù)據(jù)轉(zhuǎn)換成可讀性的數(shù)據(jù)。

由于binlog日志是以事件為基礎(chǔ)進行記錄的。在進行解析時，需要對各種事件的協(xié)議格式分別處理，對應(yīng)成功能相對獨立的模塊。

在日志解析這部分，分為通用功能模塊和專用功能模塊；

通用功能模塊主要是將一些公共函數(shù)組裝到該模塊中，最大限度達到復(fù)用的目的；

專用功能模塊是功能非常獨立的模塊部分，對應(yīng)于高內(nèi)聚、低耦合的設(shè)計思想。像新增數(shù)據(jù)、變更數(shù)據(jù)和刪除數(shù)據(jù)的解析功能分別對應(yīng)獨立的模塊。

格式轉(zhuǎn)換模塊將解析之后的數(shù)據(jù)，根據(jù)通用轉(zhuǎn)換協(xié)議，將數(shù)據(jù)組裝成通用格式。

組裝后的數(shù)據(jù)放到云消息服務(wù)平臺，供其他同源或者異源數(shù)據(jù)庫的入庫使用，從而方便實現(xiàn)Mysql到同源或異源數(shù)據(jù)庫的增量同步。