[發(fā)明專利]數(shù)據(jù)同步的方法、裝置和終端設(shè)備

有效

• 申請?zhí)枺?/td>: 201910840696.1
• 申請日: 2019-09-06
• 公開（公告）號: CN110750592B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設(shè)計）人: 丁永;鄭澤宏
• 申請（專利權(quán)）人: 中國平安財產(chǎn)保險股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳中一專利商標(biāo)事務(wù)所 44237
• 代理人: 郭鴻

本發(fā)明實(shí)施例適用于數(shù)據(jù)處理技術(shù)領(lǐng)域，提供了一種數(shù)據(jù)同步的方法、裝置和終端設(shè)備，所述方法包括：采用預(yù)置的OGG工具，構(gòu)建源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫之間的數(shù)據(jù)鏈路；基于所述數(shù)據(jù)鏈路，生成源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫之間的多個數(shù)據(jù)傳輸通道；當(dāng)檢測到針對源數(shù)據(jù)庫中任一數(shù)據(jù)的操作行為時，將所述操作行為解析為字節(jié)流，所述字節(jié)流中攜帶有所述操作行為的時間信息；通過多個數(shù)據(jù)傳輸通道，將字節(jié)流傳輸至目標(biāo)數(shù)據(jù)庫，所述目標(biāo)數(shù)據(jù)庫用于將字節(jié)流編譯為操作行為，并基于時間信息在目標(biāo)數(shù)據(jù)庫中重演所述操作行為，以實(shí)現(xiàn)數(shù)據(jù)同步。本實(shí)施例解決了大數(shù)據(jù)庫的數(shù)據(jù)一致性處理時，受計算機(jī)資源影響較大、時效性較低的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)同步的方法、一種數(shù)據(jù)同步的裝置、一種終端設(shè)備及一種計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

在分布式存儲領(lǐng)域，為了增加系統(tǒng)的高可用性，經(jīng)常將同一份數(shù)據(jù)存儲多個副本。但是此做法也帶來了數(shù)據(jù)一致性的問題。數(shù)據(jù)一致性是指事務(wù)執(zhí)行的結(jié)果必須是使數(shù)據(jù)庫從一個一致性狀態(tài)變到另一個一致性狀態(tài)。保證數(shù)據(jù)一致性可以在事務(wù)完成時，使所有數(shù)據(jù)都具有一致的狀態(tài)。

現(xiàn)有技術(shù)中，大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)一致性處理多采用批量處理、多線程拉取的同步方式實(shí)現(xiàn)。例如，對于一個sqoop(一種批量數(shù)據(jù)遷移工具)進(jìn)程，可以分成多線程拉取數(shù)據(jù)。但是，多線程批量拉取數(shù)據(jù)受鏈路穩(wěn)定性的影響較大，容易因?yàn)橛嬎銠C(jī)資源問題出現(xiàn)進(jìn)程阻塞、甚至異常退出等問題。并且，批量拉取數(shù)據(jù)的時效性較低，當(dāng)天存放到業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)只能按天增量拉取，在明天才會被同步到大數(shù)據(jù)數(shù)據(jù)庫，容易導(dǎo)致大數(shù)據(jù)側(cè)業(yè)務(wù)分析處理的滯后。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)同步的方法、裝置和終端設(shè)備，以解決現(xiàn)有技術(shù)中大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)同步受計算機(jī)資源影響較大、時效性較低，容易出現(xiàn)進(jìn)程阻塞、甚至異常退出等情況，同步后的數(shù)據(jù)往往只能第二日才可正常使用的問題。

本發(fā)明實(shí)施例的第一方面提供了一種數(shù)據(jù)同步的方法，包括：

采用預(yù)置的OGG工具，構(gòu)建源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫之間的數(shù)據(jù)鏈路；

基于所述數(shù)據(jù)鏈路，生成所述源數(shù)據(jù)庫與所述目標(biāo)數(shù)據(jù)庫之間的多個數(shù)據(jù)傳輸通道；

當(dāng)檢測到針對所述源數(shù)據(jù)庫中任一數(shù)據(jù)的操作行為時，將所述操作行為解析為字節(jié)流，所述字節(jié)流中攜帶有所述操作行為的時間信息；

通過所述多個數(shù)據(jù)傳輸通道，將所述字節(jié)流傳輸至所述目標(biāo)數(shù)據(jù)庫，所述目標(biāo)數(shù)據(jù)庫用于將所述字節(jié)流編譯為所述操作行為，并基于所述時間信息在所述目標(biāo)數(shù)據(jù)庫中重演所述操作行為，以實(shí)現(xiàn)數(shù)據(jù)同步。

本發(fā)明實(shí)施例的第二方面提供了一種數(shù)據(jù)同步的裝置，包括：

構(gòu)建模塊，用于采用預(yù)置的OGG工具，構(gòu)建源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫之間的數(shù)據(jù)鏈路；

生成模塊，用于基于所述數(shù)據(jù)鏈路，生成所述源數(shù)據(jù)庫與所述目標(biāo)數(shù)據(jù)庫之間的多個數(shù)據(jù)傳輸通道；

解析模塊，用于當(dāng)檢測到針對所述源數(shù)據(jù)庫中任一數(shù)據(jù)的操作行為時，將所述操作行為解析為字節(jié)流，所述字節(jié)流中攜帶有所述操作行為的時間信息；

同步模塊，用于通過所述多個數(shù)據(jù)傳輸通道，將所述字節(jié)流傳輸至所述目標(biāo)數(shù)據(jù)庫，所述目標(biāo)數(shù)據(jù)庫用于將所述字節(jié)流編譯為所述操作行為，并基于所述時間信息在所述目標(biāo)數(shù)據(jù)庫中重演所述操作行為，以實(shí)現(xiàn)數(shù)據(jù)同步。

本發(fā)明實(shí)施例的第三方面提供了一種終端設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)如第一方面所述數(shù)據(jù)同步的方法的步驟。

本發(fā)明實(shí)施例的第四方面提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如第一方面所述數(shù)據(jù)同步的方法的步驟。