[發(fā)明專利]一種數(shù)據(jù)倉庫的同步系統(tǒng)及其方法

在審

• 申請?zhí)枺?/td>: 202010759826.1
• 申請日: 2020-07-31
• 公開（公告）號: CN114064666A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計）人: 王琪
• 申請（專利權(quán)）人: 上海曉信信息科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/21;G06F16/2458;G06F16/27
• 代理公司: 上海宏京知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31297
• 代理人: 何艷娥

本發(fā)明提供一種數(shù)據(jù)倉庫的同步方法、系統(tǒng)、存儲介質(zhì)和電子設(shè)備。本發(fā)明中數(shù)據(jù)倉庫的同步方法包括：監(jiān)聽數(shù)據(jù)倉庫的入口；若檢測到針對第一數(shù)據(jù)的操作，則提取所述第一數(shù)據(jù)對應(yīng)的識別信息；所述第一數(shù)據(jù)為所述數(shù)據(jù)倉庫中的任一數(shù)據(jù)；使用所述識別信息去多個數(shù)據(jù)倉庫查詢，獲取更新后的所述第一數(shù)據(jù)，記為第二數(shù)據(jù)；將所述第二數(shù)據(jù)進(jìn)行聚合、變形，獲得第三數(shù)據(jù)；將所述第三數(shù)據(jù)存儲到目標(biāo)倉庫中。本發(fā)明摒棄了監(jiān)聽獲得的大量無用信息，僅提取數(shù)據(jù)對應(yīng)的識別信息，及時獲取該數(shù)據(jù)的最新信息，極大地提高了數(shù)據(jù)的最終準(zhǔn)確性；此外，本發(fā)明記錄了數(shù)據(jù)倉庫的變更，可查詢到大部分?jǐn)?shù)據(jù)在任意時間節(jié)點(diǎn)的歷史狀態(tài)的信息，實(shí)現(xiàn)了數(shù)據(jù)的歷史回溯。

技術(shù)領(lǐng)域

本發(fā)明涉及一種大數(shù)據(jù)倉庫領(lǐng)域，特別是涉及一種數(shù)據(jù)倉庫的數(shù)據(jù)聚合與實(shí)時同步。

背景技術(shù)

大數(shù)據(jù)倉庫的數(shù)據(jù)倉庫多、數(shù)據(jù)倉庫類型復(fù)雜、數(shù)據(jù)收集困難、工作量大。

目前的大數(shù)據(jù)技術(shù)領(lǐng)域，數(shù)據(jù)倉庫的數(shù)據(jù)聚合與實(shí)時同步主要有以下幾種解決方案：

1、Flume方案

該方案有以下缺點(diǎn)：通過輪詢的方式實(shí)現(xiàn)增量同步，而且輪詢時間間隔越短，對數(shù)據(jù)倉庫倉庫的影響越大；只能識別新增數(shù)據(jù)，檢測不到刪除與更新；要求數(shù)據(jù)倉庫倉庫必須有用于表示增量的字段。

2、Canal方案

該方案有以下缺點(diǎn)：需要編寫一個處理數(shù)據(jù)聚合的程序，而且只支持?jǐn)?shù)據(jù)庫；只支持增量數(shù)據(jù)，不支持歷史數(shù)據(jù)的同步，需另外寫程序去同步歷史數(shù)據(jù)。

3、Maxwell方案

該方案有以下缺點(diǎn)：無法處理更新或刪除操作。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種數(shù)據(jù)倉庫的同步系統(tǒng)及其方法，用于解決現(xiàn)有技術(shù)中大數(shù)據(jù)倉庫普遍對更新和刪除操作不友好，不能查詢歷史數(shù)據(jù)的問題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種數(shù)據(jù)倉庫的同步方法，所述方法包括：

監(jiān)聽數(shù)據(jù)倉庫的入口；

若檢測到針對第一數(shù)據(jù)的操作，則提取所述第一數(shù)據(jù)對應(yīng)的識別信息；所述第一數(shù)據(jù)為所述數(shù)據(jù)倉庫中的任一數(shù)據(jù)；

使用所述識別信息去多個數(shù)據(jù)倉庫查詢，獲取更新后的所述第一數(shù)據(jù)，記為第二數(shù)據(jù)；

將所述第二數(shù)據(jù)進(jìn)行聚合、變形，獲得第三數(shù)據(jù)；

將所述第三數(shù)據(jù)存儲到目標(biāo)倉庫中。

于本發(fā)明的一實(shí)施例中，所述提取所述第一數(shù)據(jù)對應(yīng)的識別信息之后，使用所述識別信息去多個數(shù)據(jù)倉庫查詢之前，還包括：

等待預(yù)設(shè)時間，若預(yù)設(shè)時間內(nèi)再次收到相同識別信息，則進(jìn)行去重。

于本發(fā)明的一實(shí)施例中，將所述第二數(shù)據(jù)進(jìn)行聚合包括：將每個數(shù)據(jù)倉庫提供的字段信息進(jìn)行合并，形成一條完整的數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，將所述第二數(shù)據(jù)進(jìn)行變形包括：將合并后的完整數(shù)據(jù)的字段名稱根據(jù)配置文件，轉(zhuǎn)換成目標(biāo)倉庫的表結(jié)構(gòu)中的字段名稱。

于本發(fā)明的一實(shí)施例中，將所述第二數(shù)據(jù)進(jìn)行聚合之前包括：由所述配置文件決定每一個數(shù)據(jù)倉庫提供的字段的信息，以及所提供的字段的信息與目標(biāo)倉庫的表結(jié)構(gòu)中的字段的對應(yīng)關(guān)系。

于本發(fā)明的一實(shí)施例中，將所述第三數(shù)據(jù)存儲到目標(biāo)倉庫中，具體包括：

當(dāng)所述針對所述第一數(shù)據(jù)的操作為插入或更新操作時，則為所述第三數(shù)據(jù)添加標(biāo)志字段，并存入目標(biāo)倉庫；

當(dāng)所述針對所述第一數(shù)據(jù)的操作為刪除操作時，則為所述第三數(shù)據(jù)添加標(biāo)志字段，并存入目標(biāo)倉庫；