[發(fā)明專利]數(shù)據(jù)同步方法、數(shù)據(jù)同步裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010382046.X
• 申請日: 2020-05-08
• 公開（公告）號: CN111651519B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計）人: 周俊;張延成;鄭浩華;吉聰睿
• 申請（專利權(quán)）人: 攜程計算機(jī)技術(shù)（上海）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23
• 代理公司: 上海弼興律師事務(wù)所 31283
• 代理人: 薛琦;秦晶晶

本發(fā)明公開了一種數(shù)據(jù)同步方法、數(shù)據(jù)同步裝置、電子設(shè)備及存儲介質(zhì)，該方法包括：從源數(shù)據(jù)庫的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)，并從該數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)；將全量主鍵字段數(shù)據(jù)以及變化和新增的數(shù)據(jù)均同步至目標(biāo)數(shù)據(jù)庫，分別得到主鍵文件和第一增量文件；刪除第一歷史文件中的第二增量文件，得到第二歷史文件；合并第一增量文件與第二歷史文件，得到臨時文件；等值聯(lián)合主鍵文件與臨時文件，得到全量文件。本發(fā)明通過全量方法同步一張數(shù)據(jù)表的索引塊中的全量主鍵字段數(shù)據(jù)，保證了上下游系統(tǒng)數(shù)據(jù)庫中數(shù)據(jù)量一致，同時用增量方法同步源數(shù)據(jù)庫的該數(shù)據(jù)表中變化和新增的數(shù)據(jù)，減少了對上游系統(tǒng)性能的影響，提高了數(shù)據(jù)的時效性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)同步方法、數(shù)據(jù)同步裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前，數(shù)據(jù)庫的上游有數(shù)據(jù)刪除時，一般會使用全量同步數(shù)據(jù)方法，保持上下游數(shù)據(jù)量一致，但是如果數(shù)據(jù)量變大，會影響上游系統(tǒng)的性能，同時數(shù)據(jù)的時效性也不能保證；另外一種方法是增量數(shù)據(jù)同步方法，用增量數(shù)據(jù)與前一天的全量數(shù)據(jù)做合并得到今當(dāng)天的數(shù)據(jù)，減少了對上線系統(tǒng)的影響和提高了時效性，但是會出現(xiàn)下游數(shù)據(jù)比上游數(shù)據(jù)多的現(xiàn)象，不能保證上下游數(shù)據(jù)量一致。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是為了克服現(xiàn)有技術(shù)中使用全量同步或者增量同步方法時，會影響上游系統(tǒng)性能、降低數(shù)據(jù)時效性以及上下游數(shù)據(jù)量不一致的缺陷，提供一種數(shù)據(jù)同步方法、數(shù)據(jù)同步裝置、電子設(shè)備及存儲介質(zhì)。

本發(fā)明是通過下述技術(shù)方案來解決上述技術(shù)問題：

本發(fā)明第一方面提供了一種數(shù)據(jù)同步方法，包括以下步驟：

從源數(shù)據(jù)庫的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)，并從所述數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)；

將所述全量主鍵字段數(shù)據(jù)同步至目標(biāo)數(shù)據(jù)庫，得到主鍵文件，并將所述變化和新增的數(shù)據(jù)同步至所述目標(biāo)數(shù)據(jù)庫，得到第一增量文件；

刪除第一歷史文件中的第二增量文件，得到第二歷史文件，所述第一歷史文件為與當(dāng)前時間最接近的歷史數(shù)據(jù)文件，所述第二增量文件為所述第一歷史文件中變化和新增的數(shù)據(jù)文件；

合并所述第一增量文件與所述第二歷史文件，得到臨時文件；

等值聯(lián)合所述主鍵文件與所述臨時文件，得到全量文件。

較佳地，所述從源數(shù)據(jù)庫的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)，并從所述數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)的步驟包括：

根據(jù)時間戳字段從所述源數(shù)據(jù)庫的一張數(shù)據(jù)表中抽取變化和新增的數(shù)據(jù)，并直接從所述數(shù)據(jù)表的索引塊中讀取全量主鍵字段數(shù)據(jù)。

較佳地，所述將所述全量主鍵字段數(shù)據(jù)同步至目標(biāo)數(shù)據(jù)庫，得到主鍵文件，并將所述變化和新增的數(shù)據(jù)同步至所述目標(biāo)數(shù)據(jù)庫，得到第一增量文件的步驟包括：

用全量方法同步所述主鍵字段數(shù)據(jù)，得到所述主鍵文件，并用增量方法同步所述變化和新增的數(shù)據(jù)，得到所述第一增量文件。

較佳地，在預(yù)設(shè)時間段內(nèi)同時執(zhí)行從所述源數(shù)據(jù)庫的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)以及從所述數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)的操作；

和/或，

所述第一歷史文件為前一天文件，所述全量文件為當(dāng)天全量文件。

本發(fā)明第二方面提供了一種數(shù)據(jù)同步裝置，包括獲取模塊、同步模塊、刪除模塊、合并模塊和等值聯(lián)合模塊；

所述獲取模塊用于從源數(shù)據(jù)庫的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)，并從所述數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)；

所述同步模塊用于將所述全量主鍵字段數(shù)據(jù)同步至目標(biāo)數(shù)據(jù)庫，得到主鍵文件，并將所述變化和新增的數(shù)據(jù)同步至所述目標(biāo)數(shù)據(jù)庫，得到第一增量文件；