[發(fā)明專利]一種數(shù)據(jù)同步方法、裝置、計算機設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010718550.2
• 申請日: 2020-07-23
• 公開（公告）號: CN111858764A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 曾奇
• 申請（專利權(quán)）人: 中國平安財產(chǎn)保險股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 譚果林

本發(fā)明涉及大數(shù)據(jù)，揭露一種數(shù)據(jù)同步方法包括：將全量數(shù)據(jù)同步存儲至第二數(shù)據(jù)庫，全量數(shù)據(jù)同步更新進第二數(shù)據(jù)庫時進行存儲格式轉(zhuǎn)化，將存儲格式轉(zhuǎn)化為：以第三格式文檔進行存儲，第三格式文檔中存儲有第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)，且第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)存在相同文檔里，第二目標(biāo)數(shù)據(jù)為第二目標(biāo)子數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)；第三格式文檔存儲的單個第二目標(biāo)數(shù)據(jù)和單個第二目標(biāo)子數(shù)據(jù)，使得第三格式文檔中不會嵌入至少其他格式文檔，從而實現(xiàn)數(shù)據(jù)的平鋪，進而使得全量數(shù)據(jù)同步存儲至第二數(shù)據(jù)庫的效率提高，本發(fā)明還涉及區(qū)塊鏈技術(shù)，全量數(shù)據(jù)存儲于區(qū)塊鏈中，解決了數(shù)據(jù)同步效率低的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)同步方法、裝置、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)

數(shù)據(jù)同步需要從數(shù)據(jù)平臺中同步數(shù)據(jù)到系統(tǒng)的Oracle數(shù)據(jù)庫中，其中，數(shù)據(jù)平臺包括多個不同類型資源池數(shù)據(jù)，再將需要更新的數(shù)據(jù)從Oracle數(shù)據(jù)庫同步到Mongo數(shù)據(jù)庫中。

隨著業(yè)務(wù)量的新增，目前數(shù)據(jù)同步的性能已不能滿足每天同步的數(shù)量，導(dǎo)致到白天正常上班時，數(shù)據(jù)還在同步，壓縮了現(xiàn)場可使用的時間，現(xiàn)有的Oracle數(shù)據(jù)庫中存儲的數(shù)據(jù)是由一個類型數(shù)據(jù)對應(yīng)多個關(guān)聯(lián)子數(shù)據(jù)，當(dāng)一個類型數(shù)據(jù)中的某個關(guān)聯(lián)子數(shù)據(jù)發(fā)生修改時，需要將上述關(guān)聯(lián)子數(shù)據(jù)對應(yīng)的類型數(shù)據(jù)的全部關(guān)聯(lián)子數(shù)據(jù)進行刪除，再將修改后的上述關(guān)聯(lián)子數(shù)據(jù)對應(yīng)的類型數(shù)據(jù)的全部關(guān)聯(lián)子數(shù)據(jù)同步進Mongo數(shù)據(jù)庫中。以同步車輛信息為例，Oracle數(shù)據(jù)庫中存儲著多個車輛新嵌入到人的信息里的數(shù)據(jù)，當(dāng)某車輛信息發(fā)生修改時，需要將上述車輛信息對應(yīng)的人的信息進行刪除，再將修改后的上述車輛信息對應(yīng)的人的信息的全部車輛信息同步進Mongo數(shù)據(jù)庫中，導(dǎo)致大量修改后的上述車輛信息對應(yīng)的人的信息中的沒有被修改的車輛信息需要重新同步到Mongo數(shù)據(jù)庫中，從而導(dǎo)致同步的效率低的問題。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)同步方法、裝置、計算機設(shè)備及存儲介質(zhì)，以解決數(shù)據(jù)同步問題。

一種數(shù)據(jù)同步方法，包括：

獲取第一數(shù)據(jù)庫中需要同步到第二數(shù)據(jù)庫的全量數(shù)據(jù)，所述全量數(shù)據(jù)包括以第一格式文檔存儲的第一目標(biāo)數(shù)據(jù)，所述第一格式文檔中嵌有至少一個第二格式文檔，所述第二格式文檔存儲有第一目標(biāo)子數(shù)據(jù)，所述第一目標(biāo)子數(shù)據(jù)為所述第一目標(biāo)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)；

根據(jù)所述全量數(shù)據(jù)的標(biāo)識查詢第二數(shù)據(jù)庫中是否存在所述全量數(shù)據(jù)對應(yīng)的增量數(shù)據(jù)；

若查詢出所述第二數(shù)據(jù)庫中存在所述增量數(shù)據(jù)，則對所述第二數(shù)據(jù)庫中的增量數(shù)據(jù)進行刪除；

將所述全量數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫，其中，所述全量數(shù)據(jù)同步更新進所述第二數(shù)據(jù)庫時以如下存儲格式進行存儲：所述全量數(shù)據(jù)中包括以第三格式文檔存儲的第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)，且所述第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)存在相同文檔里，所述第二目標(biāo)數(shù)據(jù)為所述第二目標(biāo)子數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)。

一種數(shù)據(jù)同步裝置，包括：

獲取模塊，獲取第一數(shù)據(jù)庫中需要同步到第二數(shù)據(jù)庫的全量數(shù)據(jù)，所述全量數(shù)據(jù)包括以第一格式文檔存儲的第一目標(biāo)數(shù)據(jù)，所述第一格式文檔中嵌有至少一個第二格式文檔，所述第二格式文檔存儲有第一目標(biāo)子數(shù)據(jù)，所述第一目標(biāo)子數(shù)據(jù)為所述第一目標(biāo)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)；

查詢模塊，根據(jù)所述全量數(shù)據(jù)的標(biāo)識查詢第二數(shù)據(jù)庫中是否存在所述全量數(shù)據(jù)對應(yīng)的增量數(shù)據(jù)；

刪除模塊，若查詢出所述第二數(shù)據(jù)庫中存在所述增量數(shù)據(jù)，則對所述第二數(shù)據(jù)庫中的增量數(shù)據(jù)進行刪除；

同步模塊，將所述全量數(shù)據(jù)同步存儲至所述第二數(shù)據(jù)庫，其中，所述全量數(shù)據(jù)同步更新進所述第二數(shù)據(jù)庫時以如下存儲格式進行存儲：所述全量數(shù)據(jù)中包括以第三格式文檔存儲的第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)，且所述第二目標(biāo)數(shù)據(jù)和第二目標(biāo)子數(shù)據(jù)存在相同文檔里，所述第二目標(biāo)數(shù)據(jù)為所述第二目標(biāo)子數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)。