[發(fā)明專(zhuān)利]一種基于canal平臺(tái)的數(shù)據(jù)同步方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011445008.0
• 申請(qǐng)日: 2020-12-11
• 公開(kāi)（公告）號(hào): CN112527903A
• 公開(kāi)（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 劉曉鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京首汽智行科技有限公司
• 主分類(lèi)號(hào): G06F16/27
• 分類(lèi)號(hào): G06F16/27;H04L12/24;H04L12/26;H04L29/08
• 代理公司: 北京世譽(yù)鑫誠(chéng)專(zhuān)利代理有限公司 11368
• 代理人: 李世端

本發(fā)明公開(kāi)的基于canal平臺(tái)的數(shù)據(jù)同步方法，涉及數(shù)據(jù)同步技術(shù)領(lǐng)域，利用canal平臺(tái)，實(shí)時(shí)獲取操作數(shù)據(jù)庫(kù)產(chǎn)生的二進(jìn)制日志，根據(jù)該二進(jìn)制日志，判斷數(shù)據(jù)庫(kù)中是否存在修改數(shù)據(jù)的操作，若存在，則根據(jù)設(shè)定的頻率，獲取數(shù)據(jù)庫(kù)中被修改的數(shù)據(jù)，提高了實(shí)時(shí)性，降低了開(kāi)發(fā)成本，減輕了數(shù)據(jù)同步的壓力。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)同步技術(shù)領(lǐng)域，具體涉及一種基于canal平臺(tái)的數(shù)據(jù)同步方法。

背景技術(shù)

隨著國(guó)內(nèi)互聯(lián)網(wǎng)流量的越來(lái)越大，各大互聯(lián)網(wǎng)公司業(yè)務(wù)功能也區(qū)域復(fù)雜化，各個(gè)業(yè)務(wù)模塊之間業(yè)務(wù)也解耦化，導(dǎo)致模塊之間和模塊的數(shù)據(jù)庫(kù)和服務(wù)都獨(dú)立部署，而當(dāng)A業(yè)務(wù)模塊做了數(shù)據(jù)庫(kù)修改，B業(yè)務(wù)模塊也想要立刻知道修改的內(nèi)容和數(shù)據(jù)的時(shí)候，就需要A業(yè)務(wù)模塊的數(shù)據(jù)庫(kù)數(shù)據(jù)實(shí)時(shí)同步給B業(yè)務(wù)模塊。

目前數(shù)據(jù)同步的方案主要包括以下方案：

(1)定時(shí)拉取同步方案

C服務(wù)器修改了數(shù)據(jù)庫(kù)數(shù)據(jù)，D服務(wù)器定時(shí)去C服務(wù)器拉取數(shù)據(jù)。由于定時(shí)拉取時(shí)間有間隔，拉取太頻繁，C服務(wù)器的數(shù)據(jù)庫(kù)受不了，拉取太慢，D服務(wù)器的數(shù)據(jù)又不實(shí)時(shí)。同時(shí)這種業(yè)務(wù)場(chǎng)景，追加一個(gè)數(shù)據(jù)庫(kù)同步，就要寫(xiě)一套定時(shí)拉取的功能，增加了開(kāi)發(fā)成本。

(2)發(fā)送消息隊(duì)列異步消費(fèi)方案

E服務(wù)器修改了數(shù)據(jù)庫(kù)中的數(shù)據(jù)成功之后，給F服務(wù)器發(fā)送消息隊(duì)列，告訴F服務(wù)器修改了那些內(nèi)容。F服務(wù)器再消費(fèi)這個(gè)消息隊(duì)列，即可獲取到數(shù)據(jù)。每添加一種業(yè)務(wù)場(chǎng)景，發(fā)送MQ方的服務(wù)就需要寫(xiě)一個(gè)發(fā)送消息的功能，增加了開(kāi)發(fā)成本，不支持動(dòng)態(tài)擴(kuò)展。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)的不足，本發(fā)明實(shí)施例提供了一種基于canal平臺(tái)的數(shù)據(jù)同步方法，該方法包括以下步驟：

利用canal平臺(tái)，實(shí)時(shí)獲取操作數(shù)據(jù)庫(kù)產(chǎn)生的二進(jìn)制日志；

根據(jù)所述二進(jìn)制日志，判斷所述數(shù)據(jù)庫(kù)中是否存在修改數(shù)據(jù)的操作；

若存在，則根據(jù)預(yù)先設(shè)置的頻率，獲取所述數(shù)據(jù)庫(kù)中被修改的數(shù)據(jù)。

優(yōu)選地，在獲取所述數(shù)據(jù)庫(kù)中被修改的數(shù)據(jù)之后，所述方法還包括：

判斷當(dāng)前時(shí)間與所述數(shù)據(jù)中的自增時(shí)間字段的差值是否大于設(shè)定的閾值，若是，則發(fā)出相應(yīng)的報(bào)警信息。

優(yōu)選地，所述方法還包括：

實(shí)時(shí)判斷基于canal平臺(tái)的數(shù)據(jù)同步的連接狀態(tài)是否正常，若不正常，則發(fā)出相應(yīng)的報(bào)警信息。

優(yōu)選地，所述方法還包括：

根據(jù)數(shù)據(jù)同步的壓力，部署多個(gè)服務(wù)器。

優(yōu)選地，所述方法還包括：

針對(duì)同步同一個(gè)數(shù)據(jù)庫(kù)的多個(gè)服務(wù)器，根據(jù)服務(wù)器開(kāi)始占用同步連接的時(shí)間，為所述多個(gè)服務(wù)器中的各個(gè)服務(wù)器設(shè)置主服務(wù)器及從服務(wù)器。

本發(fā)明實(shí)施例提供的基于canal平臺(tái)的數(shù)據(jù)同步方法方法具有以下有益效果：

(1)基于canal平臺(tái)，可以實(shí)時(shí)通過(guò)獲取操作數(shù)據(jù)庫(kù)產(chǎn)生的二進(jìn)制日志，獲取到數(shù)據(jù)庫(kù)修改的內(nèi)容。只要數(shù)據(jù)庫(kù)有修改，立刻可以獲取到修改的內(nèi)容且適用于不同的業(yè)務(wù)場(chǎng)景，提高了實(shí)時(shí)性，降低了開(kāi)發(fā)成本；

(2)針對(duì)同步服務(wù)后期壓力的大小，對(duì)服務(wù)器動(dòng)態(tài)擴(kuò)容，減輕了數(shù)據(jù)同步的壓力。

具體實(shí)施方式

以下結(jié)合具體實(shí)施例對(duì)本發(fā)明作具體的介紹。

本發(fā)明實(shí)施例提供的基于canal平臺(tái)的數(shù)據(jù)同步方法包括以下步驟：

S101，利用canal平臺(tái)，實(shí)時(shí)獲取操作數(shù)據(jù)庫(kù)產(chǎn)生的二進(jìn)制日志。