[發(fā)明專利]數(shù)據(jù)同步方法、數(shù)據(jù)同步裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010382046.X
• 申請(qǐng)日: 2020-05-08
• 公開(kāi)（公告）號(hào): CN111651519B
• 公開(kāi)（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 周俊;張延成;鄭浩華;吉聰睿
• 申請(qǐng)（專利權(quán)）人: 攜程計(jì)算機(jī)技術(shù)（上海）有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/23
• 代理公司: 上海弼興律師事務(wù)所 31283
• 代理人: 薛琦;秦晶晶

1.一種數(shù)據(jù)同步方法，其特征在于，包括以下步驟：

從源數(shù)據(jù)庫(kù)的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)，并從所述數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)；

將所述全量主鍵字段數(shù)據(jù)同步至目標(biāo)數(shù)據(jù)庫(kù)，得到主鍵文件，并將所述變化和新增的數(shù)據(jù)同步至所述目標(biāo)數(shù)據(jù)庫(kù)，得到第一增量文件；

刪除第一歷史文件中的第二增量文件，得到第二歷史文件，所述第一歷史文件為與當(dāng)前時(shí)間最接近的歷史數(shù)據(jù)文件，所述第二增量文件為所述第一歷史文件中變化和新增的數(shù)據(jù)文件；

合并所述第一增量文件與所述第二歷史文件，得到臨時(shí)文件；

等值聯(lián)合所述主鍵文件與所述臨時(shí)文件，得到全量文件。

2.如權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述從源數(shù)據(jù)庫(kù)的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)，并從所述數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)的步驟包括：

根據(jù)時(shí)間戳字段從所述源數(shù)據(jù)庫(kù)的一張數(shù)據(jù)表中抽取變化和新增的數(shù)據(jù)，并直接從所述數(shù)據(jù)表的索引塊中讀取全量主鍵字段數(shù)據(jù)。

3.如權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述將所述全量主鍵字段數(shù)據(jù)同步至目標(biāo)數(shù)據(jù)庫(kù)，得到主鍵文件，并將所述變化和新增的數(shù)據(jù)同步至所述目標(biāo)數(shù)據(jù)庫(kù)，得到第一增量文件的步驟包括：

用全量方法同步所述主鍵字段數(shù)據(jù)，得到所述主鍵文件，并用增量方法同步所述變化和新增的數(shù)據(jù)，得到所述第一增量文件。

4.如權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，在預(yù)設(shè)時(shí)間段內(nèi)同時(shí)執(zhí)行從所述源數(shù)據(jù)庫(kù)的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)以及從所述數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)的操作；

和/或，

所述第一歷史文件為前一天文件，所述全量文件為當(dāng)天全量文件。

5.一種數(shù)據(jù)同步裝置，其特征在于，包括獲取模塊、同步模塊、刪除模塊、合并模塊和等值聯(lián)合模塊；

所述獲取模塊用于從源數(shù)據(jù)庫(kù)的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)，并從所述數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)；

所述同步模塊用于將所述全量主鍵字段數(shù)據(jù)同步至目標(biāo)數(shù)據(jù)庫(kù)，得到主鍵文件，并將所述變化和新增的數(shù)據(jù)同步至所述目標(biāo)數(shù)據(jù)庫(kù)，得到第一增量文件；

所述刪除模塊用于刪除第一歷史文件中的第二增量文件，得到第二歷史文件，所述第一歷史文件為與當(dāng)前時(shí)間最接近的歷史數(shù)據(jù)文件，所述第二增量文件為所述第一歷史文件中變化和新增的數(shù)據(jù)文件；

所述合并模塊用于合并所述第一增量文件與所述第二歷史文件，得到臨時(shí)文件；

所述等值聯(lián)合模塊用于等值聯(lián)合所述主鍵文件與所述臨時(shí)文件，得到全量文件。

6.如權(quán)利要求5所述的數(shù)據(jù)同步裝置，其特征在于，所述獲取模塊包括抽取單元和讀取單元；

所述抽取單元用于根據(jù)時(shí)間戳字段從所述源數(shù)據(jù)庫(kù)的一張數(shù)據(jù)表中抽取變化和新增的數(shù)據(jù)，并調(diào)用所述讀取單元；

所述讀取單元用于直接從所述數(shù)據(jù)表的索引塊中讀取全量主鍵字段數(shù)據(jù)。

7.如權(quán)利要求5所述的數(shù)據(jù)同步裝置，其特征在于，所述同步模塊包括全量同步單元和增量同步單元；

所述全量同步單元用于用全量方法同步所述主鍵字段數(shù)據(jù)，得到所述主鍵文件，并調(diào)用所述增量同步單元；

所述增量同步單元用于用增量方法同步所述變化和新增的數(shù)據(jù)，得到所述第一增量文件。

8.如權(quán)利要求5所述的數(shù)據(jù)同步裝置，其特征在于，所述獲取模塊在預(yù)設(shè)時(shí)間段內(nèi)同時(shí)執(zhí)行從所述源數(shù)據(jù)庫(kù)的一張數(shù)據(jù)表中獲取變化和新增的數(shù)據(jù)以及從所述數(shù)據(jù)表的索引塊中獲取全量主鍵字段數(shù)據(jù)的操作；

和/或，

所述第一歷史文件為前一天文件，所述全量文件為當(dāng)天全量文件。

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-4中任意一項(xiàng)所述的數(shù)據(jù)同步方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-4中任意一項(xiàng)所述的數(shù)據(jù)同步方法的步驟。