[發(fā)明專利]一種數(shù)據(jù)同步方法、裝置、計算機設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010718550.2
• 申請日: 2020-07-23
• 公開（公告）號: CN111858764A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 曾奇
• 申請（專利權(quán)）人: 中國平安財產(chǎn)保險股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 譚果林

1.一種數(shù)據(jù)同步方法，其特征在于，包括：

獲取第一數(shù)據(jù)庫中需要同步到第二數(shù)據(jù)庫的全量數(shù)據(jù)，所述全量數(shù)據(jù)包括以第一格式文檔存儲的第一目標(biāo)數(shù)據(jù)，所述第一格式文檔中嵌有至少一個第二格式文檔，所述第二格式文檔存儲有第一目標(biāo)子數(shù)據(jù)，所述第一目標(biāo)子數(shù)據(jù)為所述第一目標(biāo)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)；

根據(jù)所述全量數(shù)據(jù)的標(biāo)識查詢第二數(shù)據(jù)庫中是否存在所述全量數(shù)據(jù)對應(yīng)的增量數(shù)據(jù)；

若查詢出所述第二數(shù)據(jù)庫中存在所述增量數(shù)據(jù)，則對所述第二數(shù)據(jù)庫中的增量數(shù)據(jù)進(jìn)行刪除；

將所述全量數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫，其中，所述全量數(shù)據(jù)同步更新進(jìn)所述第二數(shù)據(jù)庫時以如下存儲格式進(jìn)行存儲：所述全量數(shù)據(jù)中包括以第三格式文檔存儲的第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)，且所述第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)存在相同文檔里，所述第二目標(biāo)數(shù)據(jù)為所述第二目標(biāo)子數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)。

2.如權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述全量數(shù)據(jù)存儲于區(qū)塊鏈中，所述將所述全量數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫，包括：

創(chuàng)建多個同步子任務(wù)；

根據(jù)機構(gòu)標(biāo)識和機構(gòu)的數(shù)據(jù)量對多個機構(gòu)進(jìn)行分配，得到每個同步子任務(wù)中待同步的機構(gòu)類型和機構(gòu)數(shù)量；

執(zhí)行所述同步子任務(wù)，以使每個同步子任務(wù)按照所述機構(gòu)類型和機構(gòu)數(shù)量將對應(yīng)的全量數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。

3.如權(quán)利要求2所述的數(shù)據(jù)同步方法，其特征在于，在所述每個同步子任務(wù)按照所述機構(gòu)類型和數(shù)目將機構(gòu)數(shù)據(jù)同步至所述第二數(shù)據(jù)庫之后，還包括：

當(dāng)檢測到所述多個同步子任務(wù)中的某個目標(biāo)同步子任務(wù)中出現(xiàn)同步異常時，停止同步操作，并記錄同步進(jìn)度；

當(dāng)檢測到所述目標(biāo)同步子任務(wù)同步異常修復(fù)后，根據(jù)所述同步進(jìn)度繼續(xù)執(zhí)行所述目標(biāo)同步子任務(wù)。

4.如權(quán)利要求1-3任一項所述的數(shù)據(jù)同步方法，其特征在于，所述全量數(shù)據(jù)包括新增數(shù)據(jù)和修改數(shù)據(jù)，所述根據(jù)所述全量數(shù)據(jù)的標(biāo)識查詢第二數(shù)據(jù)庫中是否存在所述全量數(shù)據(jù)對應(yīng)的增量數(shù)據(jù)，包括：

根據(jù)所述新增數(shù)據(jù)的標(biāo)識查詢第二數(shù)據(jù)庫中是否存在所述新增數(shù)據(jù)對應(yīng)的需要新增的增量數(shù)據(jù)；

根據(jù)所述修改數(shù)據(jù)的標(biāo)識查詢第二數(shù)據(jù)庫中是否存在所述修改數(shù)據(jù)對應(yīng)的需要修改的或/和需要刪除的增量數(shù)據(jù)；

所述若查詢出所述第二數(shù)據(jù)庫中存在所述增量數(shù)據(jù)，則對所述第二數(shù)據(jù)庫中的增量數(shù)據(jù)進(jìn)行刪除，包括：

若查詢出所述第二數(shù)據(jù)庫中存在需要修改的所述增量數(shù)據(jù)，則對所述第二數(shù)據(jù)庫中待修改的所述增量數(shù)據(jù)進(jìn)行刪除；

若查詢出所述第二數(shù)據(jù)庫中存在需要刪除的所述增量數(shù)據(jù)，則對所述第二數(shù)據(jù)庫中待刪除的所述增量數(shù)據(jù)進(jìn)行刪除；

所述全量數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫，包括：

將所述全量數(shù)據(jù)中的新增數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫；

將所述全量數(shù)據(jù)中的修改數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫。

5.如權(quán)利要求1-3任一項所述的數(shù)據(jù)同步方法，其特征在于，所述將所述全量數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫，包括：

將所述第一格式文檔的全量數(shù)據(jù)轉(zhuǎn)換為所述第三格式文檔的全量數(shù)據(jù)，其中，第三格式文檔為BSON結(jié)構(gòu)的格式文檔；

將所述第三格式文檔的全量數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫。

6.一種數(shù)據(jù)同步裝置，其特征在于，包括：

獲取模塊，獲取第一數(shù)據(jù)庫中需要同步到第二數(shù)據(jù)庫的全量數(shù)據(jù)，所述全量數(shù)據(jù)包括以第一格式文檔存儲的第一目標(biāo)數(shù)據(jù)，所述第一格式文檔中嵌有至少一個第二格式文檔，所述第二格式文檔存儲有第一目標(biāo)子數(shù)據(jù)，所述第一目標(biāo)子數(shù)據(jù)為所述第一目標(biāo)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)；

查詢模塊，根據(jù)所述全量數(shù)據(jù)的標(biāo)識查詢第二數(shù)據(jù)庫中是否存在所述全量數(shù)據(jù)對應(yīng)的增量數(shù)據(jù)；

刪除模塊，若查詢出所述第二數(shù)據(jù)庫中存在所述增量數(shù)據(jù)，則對所述第二數(shù)據(jù)庫中的增量數(shù)據(jù)進(jìn)行刪除；

同步模塊，將所述全量數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫，其中，所述全量數(shù)據(jù)同步更新進(jìn)所述第二數(shù)據(jù)庫時以如下存儲格式進(jìn)行存儲：所述全量數(shù)據(jù)中包括以第三格式文檔存儲的第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)，且所述第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)存在相同文檔里，所述第二目標(biāo)數(shù)據(jù)為所述第二目標(biāo)子數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)。