[發(fā)明專利]數(shù)據(jù)同步方法、系統(tǒng)、電子設(shè)備及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811244243.4
• 申請日: 2018-10-24
• 公開（公告）號: CN109359139A
• 公開（公告）日: 2019-02-19
• 發(fā)明（設(shè)計）人: 張坤
• 申請（專利權(quán)）人: 拉扎斯網(wǎng)絡(luò)科技（上海）有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;G06F9/50
• 代理公司: 北京智信四方知識產(chǎn)權(quán)代理有限公司 11519
• 代理人: 劉真

本公開實施例公開了一種數(shù)據(jù)同步方法、系統(tǒng)、電子設(shè)備及計算機可讀存儲介質(zhì)，所述方法包括：將數(shù)據(jù)庫中的數(shù)據(jù)發(fā)送至消息存儲的處理流程；消費所述消息存儲的處理流程中的數(shù)據(jù)并進(jìn)行解析，得到解析數(shù)據(jù)；按照預(yù)設(shè)過濾規(guī)則對所述解析數(shù)據(jù)進(jìn)行過濾，得到過濾數(shù)據(jù)，將所述過濾數(shù)據(jù)存儲到存儲器中。該方案能夠?qū)?shù)據(jù)從關(guān)系型數(shù)據(jù)庫往非關(guān)系型數(shù)據(jù)庫導(dǎo)入，且做到數(shù)據(jù)的實時寫入，同時能夠?qū)?shù)據(jù)進(jìn)行回溯。

技術(shù)領(lǐng)域

本公開涉及通信技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)同步方法、系統(tǒng)、電子設(shè)備及計算機可讀存儲介質(zhì)。

背景技術(shù)

目前，將數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫導(dǎo)入到非關(guān)系型數(shù)據(jù)庫中，利用開源軟件Sqoop中的編程模型MapReduce(映射歸約)做批量離線數(shù)據(jù)計算，開源軟件Sqoop非常適合做離線數(shù)據(jù)操作任務(wù)。

由于，在進(jìn)行數(shù)據(jù)遷移時，會存在大量數(shù)據(jù)，編程模型MapReduce會執(zhí)行較長時間，使得數(shù)據(jù)的實時性較差。

發(fā)明內(nèi)容

本公開實施例提供一種數(shù)據(jù)同步方法和系統(tǒng)、電子設(shè)備及計算機可讀存儲介質(zhì)。

第一方面，本公開實施例中提供了一種數(shù)據(jù)同步方法。

具體的，所述數(shù)據(jù)同步方法，包括：

將數(shù)據(jù)庫中的數(shù)據(jù)發(fā)送至分布式發(fā)布訂閱消息的處理流程；

消費所述分布式發(fā)布訂閱消息的處理流程中的數(shù)據(jù)并進(jìn)行解析，得到解析數(shù)據(jù)；以及

按照預(yù)設(shè)過濾規(guī)則對所述解析數(shù)據(jù)進(jìn)行過濾，得到過濾數(shù)據(jù)，將所述過濾數(shù)據(jù)存儲到存儲器中。

結(jié)合第一方面，本公開在第一方面的第一種實現(xiàn)方式中，在將數(shù)據(jù)庫中數(shù)據(jù)發(fā)送至所述分布式發(fā)布訂閱消息的處理流程之前，包括：初始化配置信息；其中，配置信息包括：數(shù)據(jù)庫的連配置、分布式發(fā)布訂閱消息的配置信息、數(shù)據(jù)處理的參數(shù)信息、預(yù)設(shè)過濾規(guī)則、存儲器中表的結(jié)構(gòu)信息。

結(jié)合第一方面和第一方面的第一種實現(xiàn)方式，本公開在第一方面的第二種實現(xiàn)方式中，所述分布式發(fā)布訂閱消息的處理流程中的數(shù)據(jù)為預(yù)先設(shè)定的格式的數(shù)據(jù)。

結(jié)合第一方面、第一方面的第一種實現(xiàn)方式和第一方面的第二種實現(xiàn)方式，本公開在第一方面的第三種實現(xiàn)方式中，在所述將所述過濾數(shù)據(jù)存儲到存儲器中之后，還包括：存儲消費分布式發(fā)布訂閱消息的處理流程中的數(shù)據(jù)的函數(shù)。

第二方面，本公開實施例中提供了一種數(shù)據(jù)回溯方法。

具體的，所述數(shù)據(jù)回溯方法，包括：

設(shè)置回溯數(shù)據(jù)表的參數(shù)，根據(jù)所述參數(shù)，獲取對應(yīng)的偏移量；

根據(jù)所述對應(yīng)的偏移量，消費所述分布式發(fā)布訂閱消息的處理流程中的數(shù)據(jù)并進(jìn)行解析，得到解析數(shù)據(jù)；

按照預(yù)設(shè)過濾規(guī)則對所述解析數(shù)據(jù)進(jìn)行過濾，得到過濾數(shù)據(jù)，將所述過濾數(shù)據(jù)存儲到存儲器中。

第三方面，本公開實施例中提供了一種數(shù)據(jù)同步系統(tǒng)。

具體的，所述數(shù)據(jù)同步系統(tǒng)，包括：

發(fā)送模塊，被配置為將數(shù)據(jù)庫中的數(shù)據(jù)發(fā)送至分布式發(fā)布訂閱消息的處理流程；

解析模塊，被配置為消費所述分布式發(fā)布訂閱消息的處理流程中的數(shù)據(jù)并進(jìn)行解析，得到解析數(shù)據(jù)；

過濾模塊，被配置為按照預(yù)設(shè)過濾規(guī)則對所述解析數(shù)據(jù)進(jìn)行過濾，得到過濾數(shù)據(jù)；

存儲模塊，被配置為將所述過濾數(shù)據(jù)存儲到存儲器中。