[發(fā)明專利]一種數(shù)據(jù)庫(kù)同步方法、終端以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010933547.2
• 申請(qǐng)日: 2020-09-08
• 公開(kāi)（公告）號(hào): CN112015821A
• 公開(kāi)（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 鐘葉青;俞圓
• 申請(qǐng)（專利權(quán)）人: 香港中文大學(xué)（深圳）
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 朱陽(yáng)波

本發(fā)明公開(kāi)了一種數(shù)據(jù)庫(kù)同步方法、終端及存儲(chǔ)介質(zhì)。所述方法包括：從第一數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)，并抓取所述第一數(shù)據(jù)庫(kù)中的動(dòng)態(tài)數(shù)據(jù)日志；將從所述第一數(shù)據(jù)庫(kù)中讀取的數(shù)據(jù)加入至等待隊(duì)列；確定所述等待隊(duì)列中的數(shù)據(jù)的錯(cuò)位類別，根據(jù)所述動(dòng)態(tài)數(shù)據(jù)日志將所述等待隊(duì)列中錯(cuò)位類別為第一類別的錯(cuò)位數(shù)據(jù)進(jìn)行重排列；將重排列后的數(shù)據(jù)同步至第二數(shù)據(jù)庫(kù)。本發(fā)明提供的數(shù)據(jù)庫(kù)同步方法通過(guò)將從第一數(shù)據(jù)庫(kù)中讀取的數(shù)據(jù)緩存值等待隊(duì)列，并對(duì)等待隊(duì)列中的錯(cuò)位數(shù)據(jù)進(jìn)行重排列后同步至第二數(shù)據(jù)庫(kù)，避免了數(shù)據(jù)庫(kù)同步后數(shù)據(jù)同一性差的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)庫(kù)同步方法、終端以及存儲(chǔ)介質(zhì)。

背景技術(shù)

在現(xiàn)有技術(shù)中，雜合數(shù)據(jù)庫(kù)廣為應(yīng)用，現(xiàn)有的數(shù)據(jù)庫(kù)同步機(jī)制較為依賴源數(shù)據(jù)庫(kù)，易對(duì)源數(shù)據(jù)產(chǎn)生影響，并且在同步過(guò)程中常常會(huì)出現(xiàn)數(shù)據(jù)錯(cuò)位，導(dǎo)致數(shù)據(jù)庫(kù)同步后不能保證數(shù)據(jù)同一性。

因此，現(xiàn)有技術(shù)還有待改進(jìn)和提高。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的上述缺陷，提供一種數(shù)據(jù)庫(kù)同步方法、終端及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)中數(shù)據(jù)庫(kù)同步過(guò)程中不能保證數(shù)據(jù)同一性的問(wèn)題。

本發(fā)明的第一方面，提供一種數(shù)據(jù)庫(kù)同步方法，包括：

從第一數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)，并抓取所述第一數(shù)據(jù)庫(kù)中的動(dòng)態(tài)數(shù)據(jù)日志；

將從所述第一數(shù)據(jù)庫(kù)中讀取的數(shù)據(jù)加入至等待隊(duì)列；

確定所述等待隊(duì)列中的數(shù)據(jù)的錯(cuò)位類別，根據(jù)所述動(dòng)態(tài)數(shù)據(jù)日志將所述等待隊(duì)列中錯(cuò)位類別為第一類別的錯(cuò)位數(shù)據(jù)進(jìn)行重排列；

將重排列后的數(shù)據(jù)同步至第二數(shù)據(jù)庫(kù)。

所述的數(shù)據(jù)庫(kù)同步方法，其中，所述從第一數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)，包括：

通過(guò)LinkedIn數(shù)據(jù)總線從所述第一數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)。

所述的數(shù)據(jù)庫(kù)同步方法，其中，所述將從所述第一數(shù)據(jù)庫(kù)中讀取的數(shù)據(jù)加入至等待隊(duì)列，包括：

采用RabbitMQ工程緩存，將從所述第一數(shù)據(jù)庫(kù)中讀取的數(shù)據(jù)加入至所述等待隊(duì)列。

所述的數(shù)據(jù)庫(kù)同步方法，其中，所述根據(jù)所述動(dòng)態(tài)數(shù)據(jù)日志將所述等待隊(duì)列中錯(cuò)位類別為第一類別的錯(cuò)位數(shù)據(jù)進(jìn)行重排列，包括：

當(dāng)所述等待隊(duì)列中的數(shù)據(jù)的錯(cuò)位類別為第一類別時(shí)，提取所述等待隊(duì)列中的錯(cuò)位數(shù)據(jù)至限制引擎中；

當(dāng)所述限制引擎中的內(nèi)容不為空時(shí)，將所述限制引擎中的數(shù)據(jù)進(jìn)行重排列。

所述的數(shù)據(jù)庫(kù)同步方法，其中，所述將所述限制引擎中的數(shù)據(jù)進(jìn)行重排列，包括：

根據(jù)所述動(dòng)態(tài)數(shù)據(jù)日志獲取從所述第一數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)的數(shù)據(jù)讀取時(shí)間、以及數(shù)據(jù)總線運(yùn)行時(shí)間；

根據(jù)所述數(shù)據(jù)讀取時(shí)間和所述數(shù)據(jù)總線運(yùn)行時(shí)間對(duì)所述限制引擎中的數(shù)據(jù)進(jìn)行重排列。

所述的數(shù)據(jù)庫(kù)同步方法，其中，所述確定所述等待隊(duì)列中的數(shù)據(jù)的錯(cuò)位類別之后，所述方法還包括：

當(dāng)所述等待隊(duì)列中數(shù)據(jù)的錯(cuò)位類別為第二類別時(shí)，啟動(dòng)數(shù)據(jù)同步狀態(tài)監(jiān)管。

所述的數(shù)據(jù)庫(kù)同步方法，其中，所述將重排列后的數(shù)據(jù)上傳至第二數(shù)據(jù)庫(kù)，包括：

當(dāng)所述限制引擎中的內(nèi)容為空時(shí)，將重排列后的數(shù)據(jù)加入至上傳隊(duì)列；

收集所述上傳隊(duì)列中的緩存數(shù)據(jù)，并將所述上傳隊(duì)列中的緩存數(shù)據(jù)同步至所述第二數(shù)據(jù)庫(kù)。

所述的數(shù)據(jù)庫(kù)同步方法，其中，所述收集所述上傳隊(duì)列中的緩存數(shù)據(jù)之后，包括：

將所述上傳隊(duì)列轉(zhuǎn)換成適用的UPSERT或DELETE隊(duì)列。