[發(fā)明專利]數(shù)據(jù)同步方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110863314.4
• 申請日: 2021-07-29
• 公開（公告）號: CN113535856B
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 肖宇;喻兆靖;白鑫;王翔宇
• 申請（專利權(quán)）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06F16/22;G06F9/54
• 代理公司: 北京英特普羅知識產(chǎn)權(quán)代理有限公司 11015
• 代理人: 鄧小玲

本申請公開了一種數(shù)據(jù)同步方法，該方法包括：從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)；為采集的每一條數(shù)據(jù)分配有序且唯一的編號；對所述數(shù)據(jù)按照所述編號進(jìn)行全局有序排列和去重處理；將處理后的數(shù)據(jù)按順序?qū)懭霐?shù)據(jù)湖表中。本申請還公開了一種數(shù)據(jù)同步系統(tǒng)、電子裝置和計(jì)算機(jī)可讀存儲介質(zhì)。由此，能夠?qū)θ繑?shù)據(jù)和增量數(shù)據(jù)進(jìn)行一體化打通，并實(shí)現(xiàn)分鐘級數(shù)據(jù)同步和一鍵增量化入倉，還保證了所述全量數(shù)據(jù)和所述增量數(shù)據(jù)的有序性和唯一性，保障了數(shù)據(jù)傳輸質(zhì)量。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)傳輸與處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)同步方法、系統(tǒng)、電子裝置及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

目前對于從數(shù)據(jù)源到數(shù)據(jù)湖表的數(shù)據(jù)同步過程，一般只能將全量數(shù)據(jù)的同步和增量數(shù)據(jù)的同步分開進(jìn)行。例如按天拉取全量數(shù)據(jù)，每小時拉取增量數(shù)據(jù)，并對所述全量數(shù)據(jù)和所述增量數(shù)據(jù)進(jìn)行在線合并。該方案只能實(shí)現(xiàn)小時級數(shù)據(jù)同步，處理時效性低，并且用戶體驗(yàn)不透明。

需要說明的是，上述內(nèi)容并不用于限制申請保護(hù)范圍。

發(fā)明內(nèi)容

本申請的主要目的在于提出一種數(shù)據(jù)同步方法、系統(tǒng)、電子裝置及計(jì)算機(jī)可讀存儲介質(zhì)，旨在解決如何打通全量數(shù)據(jù)和增量數(shù)據(jù)的同步，以及提高處理時效性和透明性的問題。

為實(shí)現(xiàn)上述目的，本申請實(shí)施例提供了一種數(shù)據(jù)同步方法，所述方法包括：

從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)；

為采集的每一條數(shù)據(jù)分配有序且唯一的編號；

對所述數(shù)據(jù)按照所述編號進(jìn)行全局有序排列和去重處理；及

將處理后的數(shù)據(jù)按順序?qū)懭霐?shù)據(jù)湖表中。

可選地，所述方法還包括：

根據(jù)從所述數(shù)據(jù)源中采集的至少部分?jǐn)?shù)據(jù)與所述數(shù)據(jù)湖表中對應(yīng)的至少部分?jǐn)?shù)據(jù)，檢驗(yàn)數(shù)據(jù)傳輸質(zhì)量。

可選地，所述從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)包括：

通過快照技術(shù)按天采集所述全量數(shù)據(jù)，通過讀取增量日志分鐘級采集所述增量數(shù)據(jù)。

可選地，所述從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)包括：

針對第一預(yù)設(shè)類型數(shù)據(jù)源，基于Flink CDC，通過全量快照技術(shù)拉取得到所述全量數(shù)據(jù)，通過讀取Binlog日志得到所述增量數(shù)據(jù)。

可選地，所述從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)還包括：

針對第二預(yù)設(shè)類型數(shù)據(jù)源，通過代理采集從節(jié)點(diǎn)的Dump文件得到所述全量數(shù)據(jù)，通過讀取Binlog日志得到所述增量數(shù)據(jù)。

可選地，所述為采集的每一條數(shù)據(jù)分配有序且唯一的編號包括：

記錄當(dāng)前的系統(tǒng)生成時間，作為一個時間戳；

生成一個單調(diào)遞增編號；

將所述時間戳加上所述單調(diào)遞增編號作為所述有序且唯一的編號分配給當(dāng)前數(shù)據(jù)。

可選地，所述方法在所述為采集的每一條數(shù)據(jù)分配有序且唯一的編號和所述對所述數(shù)據(jù)按照所述編號進(jìn)行全局有序排列和去重處理之間還包括：

將帶有編號的所述數(shù)據(jù)推送到Kafka消息隊(duì)列中；

從所述Kafka消息隊(duì)列中消費(fèi)當(dāng)前數(shù)據(jù)。

此外，為實(shí)現(xiàn)上述目的，本申請實(shí)施例還提供一種數(shù)據(jù)同步系統(tǒng)，所述系統(tǒng)包括：

采集模塊，用于從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)；

分配模塊，用于為采集的每一條數(shù)據(jù)分配有序且唯一的編號；