[發(fā)明專利]增量數(shù)據(jù)獲取方法、發(fā)送方法、裝置及其計(jì)算機(jī)存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010948909.5
• 申請(qǐng)日: 2020-09-10
• 公開（公告）號(hào): CN111930768B
• 公開（公告）日: 2021-01-01
• 發(fā)明（設(shè)計(jì)）人: 鄭杰;孔慶峰;易杰
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/27;G06F16/22
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 梁嘉琦

本申請(qǐng)公開了增量數(shù)據(jù)獲取方法、發(fā)送方法、裝置及其計(jì)算機(jī)存儲(chǔ)介質(zhì)，通過數(shù)據(jù)庫更新記錄表獲取數(shù)據(jù)庫中更新數(shù)據(jù)的位置信息，從而確定數(shù)據(jù)庫中的第一更新數(shù)據(jù)及其所在的第一數(shù)據(jù)表，從所述第一數(shù)據(jù)表開始遍歷所述有向無環(huán)圖中的目標(biāo)數(shù)據(jù)表，獲取各個(gè)所述目標(biāo)數(shù)據(jù)表中與所述第一更新數(shù)據(jù)關(guān)聯(lián)的第一數(shù)據(jù)，根據(jù)所述第一更新數(shù)據(jù)和所述第一數(shù)據(jù)得到第一增量數(shù)據(jù)，由于數(shù)據(jù)庫每次修改數(shù)據(jù)的變更信息會(huì)記錄至數(shù)據(jù)庫更新記錄表，而有向無環(huán)圖中的目標(biāo)數(shù)據(jù)表與當(dāng)前的業(yè)務(wù)相關(guān)，因此通過定位更新數(shù)據(jù)在數(shù)據(jù)庫中的第一數(shù)據(jù)表并遍歷有向無環(huán)圖中的目標(biāo)數(shù)據(jù)表，能夠快速獲取該次數(shù)據(jù)更新對(duì)應(yīng)的與當(dāng)前業(yè)務(wù)相關(guān)的第一增量數(shù)據(jù)，提高業(yè)務(wù)數(shù)據(jù)的一致性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，尤其涉及增量數(shù)據(jù)獲取方法、發(fā)送方法、裝置及其計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

增量數(shù)據(jù)捕獲（Change Data Capture，CDC）是指捕獲數(shù)據(jù)源中產(chǎn)生的增量數(shù)據(jù)，并提供給其他下游業(yè)務(wù)的過程。CDC是數(shù)據(jù)集成過程中所要解決的主要問題之一。CDC用于捕獲業(yè)務(wù)數(shù)據(jù)庫中數(shù)據(jù)插入、刪除、更新操作，為聯(lián)機(jī)分析處理（OnLine AnalyticalProcessing，OLAP）數(shù)據(jù)庫、報(bào)表數(shù)據(jù)庫、數(shù)據(jù)倉庫、商業(yè)智能數(shù)據(jù)庫等企業(yè)應(yīng)用數(shù)據(jù)庫數(shù)據(jù)的同步提供增量數(shù)據(jù)捕獲服務(wù)。

分布式數(shù)據(jù)庫同步系統(tǒng)例如DataBus，可以提供可靠的數(shù)據(jù)捕獲、流轉(zhuǎn)和數(shù)據(jù)處理功能，其主要應(yīng)用場(chǎng)景是跨部門之間或者跨機(jī)房之間進(jìn)行數(shù)據(jù)庫的數(shù)據(jù)訂閱。分布式數(shù)據(jù)庫同步系統(tǒng)主要是基于數(shù)據(jù)庫日志例如Binlog進(jìn)行增量數(shù)據(jù)捕獲。但是由于在分庫分表和復(fù)雜的業(yè)務(wù)場(chǎng)景中數(shù)據(jù)庫中的數(shù)據(jù)會(huì)頻繁地發(fā)生變化，僅通過數(shù)據(jù)庫日志的方式無法區(qū)分?jǐn)?shù)據(jù)變化的先后順序，因此難以保持業(yè)務(wù)數(shù)據(jù)的最終一致性。

發(fā)明內(nèi)容

以下是對(duì)本文詳細(xì)描述的主題的概述。本概述并非是為了限制權(quán)利要求的保護(hù)范圍。

本申請(qǐng)?zhí)峁┝艘环N增量數(shù)據(jù)獲取方法、發(fā)送方法、裝置及其計(jì)算機(jī)存儲(chǔ)介質(zhì)，能夠提高業(yè)務(wù)數(shù)據(jù)的最終一致性。

根據(jù)本申請(qǐng)的第一方面，提供一種增量數(shù)據(jù)獲取方法，包括：

確定當(dāng)前業(yè)務(wù)對(duì)應(yīng)的有向無環(huán)圖，所述有向無環(huán)圖為當(dāng)前業(yè)務(wù)在數(shù)據(jù)庫中相關(guān)的目標(biāo)數(shù)據(jù)表通過外鍵連接形成的層級(jí)關(guān)系圖；

讀取數(shù)據(jù)庫更新記錄表，獲取未被處理的數(shù)據(jù)更新記錄，所述數(shù)據(jù)更新記錄包括所述數(shù)據(jù)庫中數(shù)據(jù)更新的位置信息；

根據(jù)所述數(shù)據(jù)更新的位置信息確定所述數(shù)據(jù)庫中的第一更新數(shù)據(jù)以及所述第一更新數(shù)據(jù)所在的第一數(shù)據(jù)表；

從所述第一數(shù)據(jù)表開始遍歷所述有向無環(huán)圖中的目標(biāo)數(shù)據(jù)表，獲取各個(gè)所述目標(biāo)數(shù)據(jù)表中與所述第一更新數(shù)據(jù)關(guān)聯(lián)的第一數(shù)據(jù)，根據(jù)所述第一更新數(shù)據(jù)和所述第一數(shù)據(jù)得到第一增量數(shù)據(jù)。

根據(jù)本申請(qǐng)的第二方面，提供一種增量數(shù)據(jù)發(fā)送方法，包括：

依據(jù)本申請(qǐng)第一方面所述的增量數(shù)據(jù)獲取方法獲取第一增量數(shù)據(jù)；

將所述第一增量數(shù)據(jù)發(fā)送至下游服務(wù)器、下游終端或訂閱了第一增量數(shù)據(jù)消息的互聯(lián)網(wǎng)數(shù)據(jù)中心。

根據(jù)本申請(qǐng)的第三方面，提供一種增量數(shù)據(jù)獲取裝置，包括：

業(yè)務(wù)確認(rèn)裝置，確定當(dāng)前業(yè)務(wù)對(duì)應(yīng)的有向無環(huán)圖，所述有向無環(huán)圖為當(dāng)前業(yè)務(wù)在數(shù)據(jù)庫中相關(guān)的目標(biāo)數(shù)據(jù)表通過外鍵連接形成的層級(jí)關(guān)系圖；

記錄表讀取裝置，讀取數(shù)據(jù)庫更新記錄表，獲取未被處理的數(shù)據(jù)更新記錄，所述數(shù)據(jù)更新記錄包括所述數(shù)據(jù)庫中數(shù)據(jù)更新的位置信息；

數(shù)據(jù)表獲取裝置，根據(jù)所述數(shù)據(jù)更新的位置信息確定所述數(shù)據(jù)庫中的第一更新數(shù)據(jù)以及所述第一更新數(shù)據(jù)所在的第一數(shù)據(jù)表；