[發明專利]數據增量更新及查詢方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010970556.9
• 申請日: 2020-09-15
• 公開（公告）號: CN112115152A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 蔣少杰;戴秀鳳;王德品
• 申請（專利權）人: 招商局金融科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2455
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及大數據技術，揭露了一種數據增量更新及查詢方法，包括：獲取原始數據集并抽取至預設的數據湖，將所述數據湖中的數據導入至預設的數據庫中，獲取預先設置的目標表、增量數據表及更新數據表，獲取所述數據庫中的源表，將所述源表中的數據抽取至所述目標表，并根據所述源表中的時間戳及預設的時間間隔，從所述數據庫中獲取增量數據并抽取至所述增量數據表，將所述增量數據表與所述目標表進行比對，得到更新數據并抽取至所述目標表，將所述數據庫中的視圖與所述目標表進行關聯，得到關聯視圖。本發明還提出一種數據增量更新及查詢裝置、電子設備以及計算機可讀存儲介質。本發明可以解決數據查詢較慢及準確性不高的問題。

技術領域

本發明涉及大數據技術領域，尤其涉及一種數據增量更新及查詢方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

大數據背景下，數據規模急劇擴大、數據形式多樣、對數據應用的要求也日益提高，這給傳統數據庫技術帶來了巨大的挑戰。現有技術下存在以下缺陷：1、數據源越來越多，數據的完整性無法保證，將會極大地限制數據質量，影響數據查詢的準確性。2、由于數據更新需要時間，單純的視圖查詢，直接將視圖與數據庫關聯導致查詢越來越慢。

發明內容

本發明提供一種數據增量更新及查詢方法、裝置及計算機可讀存儲介質，其主要目的在于解決數據查詢較慢及準確性不高的問題。

為實現上述目的，本發明提供的一種數據增量更新及查詢方法，包括：

獲取原始數據集，并將所述原始數據集抽取至預設的數據湖；

將所述數據湖中的數據導入至預設的數據庫中，在所述數據庫中獲取預先設置的目標表、增量數據表及更新數據表；

獲取所述數據庫中的源表，將所述源表中的數據抽取至所述目標表，并根據所述源表中的時間戳及預設的時間間隔，從所述數據庫中獲取增量數據，將所述增量數據抽取至所述增量數據表；

將所述增量數據表與所述目標表進行比對，得到更新數據，將所述更新數據抽取至所述目標表；

獲取所述數據庫中的視圖，通過所述目標表中的數據主鍵，將所述視圖與所述目標表進行關聯，得到關聯視圖。

可選地，所述將所述原始數據集抽取至預設的數據湖，包括：

判斷所述原始數據集中的數據類型；

若所述數據的類型為未知的數據類型，則將所述原始數據集存儲至所述數據湖中的未知數據子集，并進行告警；

若所述數據的類型為已知的數據類型，則將所述原始數據集分配至所述數據湖對應的數據子集，得到已知數據子集。

可選地，所述將所述原始數據集抽取至預設的數據湖之后，還包括：

利用預設的校驗方法對所述已知數據子集中的數據進行校檢，判斷所述數據是否存在錯誤數據；

若所述數據中存在所述錯誤數據，則進行告警。

可選地，所述根據所述源表中的時間戳及預設的時間間隔，從所述數據庫中獲取增量數據，將所述增量數據抽取至所述增量數據表，包括：

根據標準時間及所述預設的時間間隔更新所述時間戳，得到更新時間戳；

利用預設的抽取工具獲取所述更新時間戳內的增量數據，并將所述增量數據抽取至所述增量目標表。

可選地，所述將所述增量數據表與所述目標表進行比對，得到更新數據，包括：

獲取所述增量數據表與所述目標表內的數據；

將所述數據進行比對，若所述數據相同，則不進行數據更新，若所述數據不同，則進行數據更新；