[發(fā)明專利]數(shù)據(jù)同步方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110863314.4
• 申請(qǐng)日: 2021-07-29
• 公開（公告）號(hào): CN113535856B
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 肖宇;喻兆靖;白鑫;王翔宇
• 申請(qǐng)（專利權(quán)）人: 上海嗶哩嗶哩科技有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/25;G06F16/22;G06F9/54
• 代理公司: 北京英特普羅知識(shí)產(chǎn)權(quán)代理有限公司 11015
• 代理人: 鄧小玲

1.一種數(shù)據(jù)同步方法，其特征在于，所述方法包括：

從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)，其中，所述全量數(shù)據(jù)按第一間隔時(shí)間采集，所述增量數(shù)據(jù)按第二間隔時(shí)間采集；

將當(dāng)前采集的所有數(shù)據(jù)打通處理，為每一條數(shù)據(jù)分配有序且唯一的編號(hào)；

將帶有所述編號(hào)的所述數(shù)據(jù)推送到消息隊(duì)列中；

從所述消息隊(duì)列中消費(fèi)當(dāng)前數(shù)據(jù)，并對(duì)所消費(fèi)的所有數(shù)據(jù)按照所述編號(hào)進(jìn)行全局有序排列和去重處理；及

將處理后的數(shù)據(jù)按順序同步至數(shù)據(jù)湖表中。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述方法還包括：

根據(jù)從所述數(shù)據(jù)源中采集的至少部分?jǐn)?shù)據(jù)與所述數(shù)據(jù)湖表中對(duì)應(yīng)的至少部分?jǐn)?shù)據(jù)，檢驗(yàn)數(shù)據(jù)傳輸質(zhì)量。

3.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)同步方法，其特征在于，所述從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)包括：

通過快照技術(shù)按天采集所述全量數(shù)據(jù)，通過讀取增量日志分鐘級(jí)采集所述增量數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)同步方法，其特征在于，所述從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)包括：

針對(duì)第一預(yù)設(shè)類型數(shù)據(jù)源，基于Flink CDC，通過全量快照技術(shù)拉取得到所述全量數(shù)據(jù)，通過讀取Binlog日志得到所述增量數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)同步方法，其特征在于，所述從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)還包括：

針對(duì)第二預(yù)設(shè)類型數(shù)據(jù)源，通過代理采集從節(jié)點(diǎn)的Dump文件得到所述全量數(shù)據(jù)，通過讀取Binlog日志得到所述增量數(shù)據(jù)。

6.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)同步方法，其特征在于，所述為每一條數(shù)據(jù)分配有序且唯一的編號(hào)包括：

記錄當(dāng)前的系統(tǒng)生成時(shí)間，作為一個(gè)時(shí)間戳；

生成一個(gè)單調(diào)遞增編號(hào)；

將所述時(shí)間戳加上所述單調(diào)遞增編號(hào)作為所述有序且唯一的編號(hào)分配給當(dāng)前數(shù)據(jù)。

7.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)同步方法，其特征在于，所述消息隊(duì)列為Kafka消息隊(duì)列。

8.一種數(shù)據(jù)同步系統(tǒng)，其特征在于，所述系統(tǒng)包括：

采集模塊，用于從數(shù)據(jù)源中采集全量數(shù)據(jù)和增量數(shù)據(jù)，其中，所述全量數(shù)據(jù)按第一間隔時(shí)間采集，所述增量數(shù)據(jù)按第二間隔時(shí)間采集；

分配模塊，用于將當(dāng)前采集的所有數(shù)據(jù)打通處理，為每一條數(shù)據(jù)分配有序且唯一的編號(hào)，將帶有所述編號(hào)的所述數(shù)據(jù)推送到消息隊(duì)列中；

處理模塊，用于從所述消息隊(duì)列中消費(fèi)當(dāng)前數(shù)據(jù)，并對(duì)所消費(fèi)的所有數(shù)據(jù)按照所述編號(hào)進(jìn)行全局有序排列和去重處理；

寫入模塊，用于將處理后的數(shù)據(jù)按順序同步至數(shù)據(jù)湖表中。

9.一種電子裝置，其特征在于，所述電子裝置包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的數(shù)據(jù)同步程序，所述數(shù)據(jù)同步程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的數(shù)據(jù)同步方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有數(shù)據(jù)同步程序，所述數(shù)據(jù)同步程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的數(shù)據(jù)同步方法。