[發(fā)明專利]一種數(shù)據(jù)庫的數(shù)據(jù)同步方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010634655.X
• 申請日: 2020-07-02
• 公開（公告）號: CN111767346A
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計(jì)）人: 陳海彬
• 申請（專利權(quán)）人: 深圳新貝奧科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳市特訊知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44653
• 代理人: 何明生;黃彧

本發(fā)明提供了一種數(shù)據(jù)庫的數(shù)據(jù)同步方法、裝置、設(shè)備及存儲介質(zhì)，此方法包括預(yù)先對同步數(shù)據(jù)的環(huán)境進(jìn)行表配置和字段配置以及基于表配置和字段配置將源表中需要同步的數(shù)據(jù)同步至目標(biāo)表中。該同步數(shù)據(jù)包括源表中需要同步的數(shù)據(jù)和目標(biāo)表中被同步的數(shù)據(jù)，該表配置包括對數(shù)據(jù)進(jìn)行同步的同步類型，該字段配置包括對字段進(jìn)行格式轉(zhuǎn)換的轉(zhuǎn)換方法。此方法由配置完成數(shù)據(jù)同步，方式簡單，并且，利用配置的同步類型實(shí)現(xiàn)多種同步形式進(jìn)行數(shù)據(jù)同步，利用配置的轉(zhuǎn)換方法實(shí)現(xiàn)對字段的格式轉(zhuǎn)換，實(shí)現(xiàn)在數(shù)據(jù)同步過程中，對字段進(jìn)行格式轉(zhuǎn)換、邏輯運(yùn)算。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)庫的數(shù)據(jù)同步方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前，數(shù)據(jù)庫中，表對表之間的數(shù)據(jù)同步需要做繁瑣的字段映射開發(fā)，同步邏輯開發(fā)以及轉(zhuǎn)換關(guān)系的開發(fā)。并且，在數(shù)據(jù)同步過程中，不能對字段進(jìn)行格式轉(zhuǎn)換、邏輯運(yùn)算、并以多種同步形式進(jìn)行數(shù)據(jù)同步。

因此，現(xiàn)有技術(shù)有待改進(jìn)和發(fā)展。

發(fā)明內(nèi)容

為了解決上述現(xiàn)有技術(shù)的缺陷和不足，本發(fā)明提供了一種數(shù)據(jù)庫的數(shù)據(jù)同步方法、裝置、設(shè)備及存儲介質(zhì)，用于解決現(xiàn)有技術(shù)中數(shù)據(jù)同步需做繁瑣的各項(xiàng)開發(fā)的問題，以及用于解決現(xiàn)有技術(shù)在數(shù)據(jù)同步過程中不能對字段進(jìn)行格式轉(zhuǎn)換、邏輯運(yùn)算、并以多種同步形式進(jìn)行數(shù)據(jù)同步的問題。

本發(fā)明所采用的技術(shù)方案如下：

一方面，本發(fā)明提供了一種數(shù)據(jù)庫的數(shù)據(jù)同步方法，包括：

預(yù)先對同步數(shù)據(jù)的環(huán)境進(jìn)行表配置和字段配置，其中，所述同步數(shù)據(jù)包括源表中需要同步的數(shù)據(jù)和目標(biāo)表中被同步的數(shù)據(jù)，所述表配置包括對數(shù)據(jù)進(jìn)行同步的同步類型，所述字段配置包括對字段進(jìn)行格式轉(zhuǎn)換的轉(zhuǎn)換方法；

基于表配置和字段配置將源表中需要同步的數(shù)據(jù)同步至目標(biāo)表中。

具體的，所述同步類型包括O類型、C類型、I類型、M類型和F類型；

其中，O類型是基于流水ID表，通過讀取配置的方式進(jìn)行數(shù)據(jù)同步；

C類型是基于Control表進(jìn)行數(shù)據(jù)同步；

I類型是基于時(shí)間戳進(jìn)行增量同步，并且，若目標(biāo)數(shù)據(jù)庫已經(jīng)存在需要同步的數(shù)據(jù)的ID記錄，則不會進(jìn)行數(shù)據(jù)同步，否則，復(fù)制需要同步的數(shù)據(jù)至目標(biāo)表中；

M類型是基于配置的取值SQL進(jìn)行數(shù)據(jù)同步，并在數(shù)據(jù)同步后，會根據(jù)同步后的數(shù)據(jù)ID將源數(shù)據(jù)庫中對應(yīng)的數(shù)據(jù)刪除；

F類型是基于配置中的目標(biāo)表信息，先刪除目標(biāo)表所有數(shù)據(jù)內(nèi)容，再將源表的數(shù)據(jù)全部同步至目標(biāo)表。

優(yōu)選地，所述數(shù)據(jù)庫的數(shù)據(jù)同步方法，在所述基于表配置和字段配置將源表中需要同步的數(shù)據(jù)同步至目標(biāo)表中之前，還包括：

基于定時(shí)任務(wù)觸發(fā)執(zhí)行數(shù)據(jù)同步，并調(diào)用相應(yīng)的表配置和字段配置；

獲取定時(shí)任務(wù)中同步數(shù)據(jù)的運(yùn)行配置信息；

對定時(shí)任務(wù)中的業(yè)務(wù)代碼進(jìn)行處理；

判斷當(dāng)前定時(shí)任務(wù)是否處于開啟狀態(tài)，若是，則

將配置信息組裝成通用消息模板發(fā)布至消息列隊(duì)。

優(yōu)選地，所述基于表配置和字段配置將源表中需要同步的數(shù)據(jù)同步至目標(biāo)表中，是基于消息列隊(duì)中對應(yīng)的數(shù)據(jù)同步消息觸發(fā)執(zhí)行，具體包括如下步驟：

根據(jù)預(yù)先表配置中的同步類型，提取同步數(shù)據(jù)；

判斷源表中需要同步的數(shù)據(jù)是否提取，若是，則

根據(jù)預(yù)先字段配置中的轉(zhuǎn)換方法對源表中需要同步的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換；