[發(fā)明專利]數(shù)據(jù)實(shí)時(shí)同步方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110371580.5
• 申請(qǐng)日: 2021-04-07
• 公開(kāi)（公告）號(hào): CN113010608A
• 公開(kāi)（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 俞舒;沈鵠;張聰;耿志振;江海洋
• 申請(qǐng)（專利權(quán)）人: 億企贏網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/23;G06F16/25
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 溫可睿

1.一種數(shù)據(jù)實(shí)時(shí)同步方法，其特征在于，應(yīng)用于Flink分布式框架，包括：

根據(jù)源數(shù)據(jù)庫(kù)和ClickHouse的配置信息、實(shí)時(shí)同步任務(wù)控制信息從Binlog中讀取待處理數(shù)據(jù)；所述Binlog存儲(chǔ)所述源數(shù)據(jù)庫(kù)的變化數(shù)據(jù)；

根據(jù)所述待處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)操作類型，采用相匹配的數(shù)據(jù)插入操作方式將所述待處理數(shù)據(jù)寫(xiě)入至內(nèi)存中；所述操作數(shù)據(jù)庫(kù)類型包括數(shù)據(jù)插入操作、數(shù)據(jù)刪除操作和數(shù)據(jù)更新操作；

當(dāng)檢測(cè)到目的數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入操作被觸發(fā)，將所述內(nèi)存中的數(shù)據(jù)加載至所述ClickHouse中。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)實(shí)時(shí)同步方法，其特征在于，所述采用相匹配的數(shù)據(jù)插入操作方式將所述待處理數(shù)據(jù)寫(xiě)入至內(nèi)存中之后，還包括：

將所述待處理數(shù)據(jù)的處理時(shí)間點(diǎn)和在所述Binlog中的位置記錄在Checkpoint，以將所述Binlog同步位點(diǎn)實(shí)時(shí)記錄在狀態(tài)中。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)實(shí)時(shí)同步方法，其特征在于，所述采用相匹配的數(shù)據(jù)插入操作方式將所述待處理數(shù)據(jù)寫(xiě)入至內(nèi)存中之后，還包括：

當(dāng)再次啟動(dòng)數(shù)據(jù)實(shí)時(shí)同步任務(wù)，自動(dòng)從故障點(diǎn)對(duì)應(yīng)記錄在所述Binlog的位點(diǎn)處恢復(fù)所述數(shù)據(jù)實(shí)時(shí)同步任務(wù)。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)實(shí)時(shí)同步方法，其特征在于，所述當(dāng)檢測(cè)到目的數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入操作被觸發(fā)，將所述內(nèi)存中的數(shù)據(jù)加載至所述ClickHouse中包括：

當(dāng)檢測(cè)到存儲(chǔ)數(shù)據(jù)至所述內(nèi)存中的操作次數(shù)達(dá)到預(yù)設(shè)次數(shù)閾值或檢測(cè)到當(dāng)前時(shí)刻到達(dá)Checkpoint周期，將所述內(nèi)存中的數(shù)據(jù)加載至所述ClickHouse中。

5.根據(jù)權(quán)利要求1至4任意一項(xiàng)所述的數(shù)據(jù)實(shí)時(shí)同步方法，其特征在于，所述根據(jù)所述待處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)操作類型，采用相匹配的數(shù)據(jù)插入操作方式將所述待處理數(shù)據(jù)寫(xiě)入至內(nèi)存中包括：

預(yù)先設(shè)置所述數(shù)據(jù)插入操作方式包括字段和主鍵，所述字段用于標(biāo)識(shí)操作數(shù)據(jù)庫(kù)類型；

若所述待處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)操作類型為所述數(shù)據(jù)插入操作，將相應(yīng)主鍵的數(shù)據(jù)寫(xiě)入至所述內(nèi)存中；

若所述待處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)操作類型為所述數(shù)據(jù)刪除操作，利用同主鍵合并功能刪除相應(yīng)數(shù)據(jù)；

若所述待處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)操作類型為所述數(shù)據(jù)更新操作，所述數(shù)據(jù)插入操作方式包括第一字段和第一主鍵、第二字段和第二主鍵；將所述第一主鍵的數(shù)據(jù)和所述第二主鍵的數(shù)據(jù)順序?qū)懭胫了鰞?nèi)存。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)實(shí)時(shí)同步方法，其特征在于，所述根據(jù)源數(shù)據(jù)庫(kù)和ClickHouse的配置信息、實(shí)時(shí)同步任務(wù)控制信息從Binlog中讀取待處理數(shù)據(jù)之前，還包括：

接收并發(fā)度設(shè)置指令；

根據(jù)所述并發(fā)度設(shè)置指令中的并發(fā)度數(shù)設(shè)置所述實(shí)時(shí)同步任務(wù)控制信息的任務(wù)線程數(shù)。

7.一種數(shù)據(jù)實(shí)時(shí)同步裝置，其特征在于，應(yīng)用于Flink分布式框架，包括：

數(shù)據(jù)讀取模塊，用于根據(jù)源數(shù)據(jù)庫(kù)和ClickHouse的配置信息、實(shí)時(shí)同步任務(wù)控制信息從Binlog中讀取待處理數(shù)據(jù)；所述Binlog存儲(chǔ)所述源數(shù)據(jù)庫(kù)的變化數(shù)據(jù)；

數(shù)據(jù)寫(xiě)入模塊，用于根據(jù)所述待處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)操作類型，采用相匹配的數(shù)據(jù)插入操作方式將所述待處理數(shù)據(jù)寫(xiě)入至內(nèi)存中；所述操作數(shù)據(jù)庫(kù)類型包括數(shù)據(jù)插入操作、數(shù)據(jù)刪除操作和數(shù)據(jù)更新操作；

數(shù)據(jù)同步模塊，用于當(dāng)檢測(cè)到目的數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入操作被觸發(fā)，將所述內(nèi)存中的數(shù)據(jù)加載至所述ClickHouse中。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)實(shí)時(shí)同步裝置，其特征在于，還包括狀態(tài)記錄模塊，用于將所述待處理數(shù)據(jù)的處理時(shí)間點(diǎn)和在所述Binlog中的位置記錄在Checkpoint，以將所述Binlog同步位點(diǎn)實(shí)時(shí)記錄在狀態(tài)中。

9.一種數(shù)據(jù)實(shí)時(shí)同步裝置，其特征在于，包括處理器，所述處理器用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述數(shù)據(jù)實(shí)時(shí)同步方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有數(shù)據(jù)實(shí)時(shí)同步程序，所述數(shù)據(jù)實(shí)時(shí)同步程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述數(shù)據(jù)實(shí)時(shí)同步方法的步驟。