[發(fā)明專利]數(shù)據(jù)增量更新及查詢方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010970556.9
• 申請日: 2020-09-15
• 公開（公告）號: CN112115152A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: 蔣少杰;戴秀鳳;王德品
• 申請（專利權(quán)）人: 招商局金融科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2455
• 代理公司: 深圳市沃德知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種數(shù)據(jù)增量更新及查詢方法，其特征在于，所述方法包括：

獲取原始數(shù)據(jù)集，并將所述原始數(shù)據(jù)集抽取至預(yù)設(shè)的數(shù)據(jù)湖；

將所述數(shù)據(jù)湖中的數(shù)據(jù)導(dǎo)入至預(yù)設(shè)的數(shù)據(jù)庫中，在所述數(shù)據(jù)庫中獲取預(yù)先設(shè)置的目標表、增量數(shù)據(jù)表及更新數(shù)據(jù)表；

獲取所述數(shù)據(jù)庫中的源表，將所述源表中的數(shù)據(jù)抽取至所述目標表，并根據(jù)所述源表中的時間戳及預(yù)設(shè)的時間間隔，從所述數(shù)據(jù)庫中獲取增量數(shù)據(jù)，將所述增量數(shù)據(jù)抽取至所述增量數(shù)據(jù)表；

將所述增量數(shù)據(jù)表與所述目標表進行比對，得到更新數(shù)據(jù)，將所述更新數(shù)據(jù)抽取至所述目標表；

獲取所述數(shù)據(jù)庫中的視圖，通過所述目標表中的數(shù)據(jù)主鍵，將所述視圖與所述目標表進行關(guān)聯(lián)，得到關(guān)聯(lián)視圖。

2.如權(quán)利要求1所述的數(shù)據(jù)增量更新及查詢方法，其特征在于，所述將所述原始數(shù)據(jù)集抽取至預(yù)設(shè)的數(shù)據(jù)湖，包括：

判斷所述原始數(shù)據(jù)集中的數(shù)據(jù)類型；

若所述數(shù)據(jù)的類型為未知的數(shù)據(jù)類型，則將所述原始數(shù)據(jù)集存儲至所述數(shù)據(jù)湖中的未知數(shù)據(jù)子集，并進行告警；

若所述數(shù)據(jù)的類型為已知的數(shù)據(jù)類型，則將所述原始數(shù)據(jù)集分配至所述數(shù)據(jù)湖對應(yīng)的數(shù)據(jù)子集，得到已知數(shù)據(jù)子集。

3.如權(quán)利要求2所述的數(shù)據(jù)增量更新及查詢方法，其特征在于，所述將所述原始數(shù)據(jù)集抽取至預(yù)設(shè)的數(shù)據(jù)湖之后，還包括：

利用預(yù)設(shè)的校驗方法對所述已知數(shù)據(jù)子集中的數(shù)據(jù)進行校檢，判斷所述數(shù)據(jù)是否存在錯誤數(shù)據(jù)；

若所述數(shù)據(jù)中存在所述錯誤數(shù)據(jù)，則進行告警。

4.如權(quán)利要求1所述的數(shù)據(jù)增量更新及查詢方法，其特征在于，所述根據(jù)所述源表中的時間戳及預(yù)設(shè)的時間間隔，從所述數(shù)據(jù)庫中獲取增量數(shù)據(jù)，將所述增量數(shù)據(jù)抽取至所述增量數(shù)據(jù)表，包括：

根據(jù)標準時間及所述預(yù)設(shè)的時間間隔更新所述時間戳，得到更新時間戳；

利用預(yù)設(shè)的抽取工具獲取所述更新時間戳內(nèi)的增量數(shù)據(jù)，并將所述增量數(shù)據(jù)抽取至所述增量目標表。

5.如權(quán)利要求1所述的數(shù)據(jù)增量更新及查詢方法，其特征在于，所述將所述增量數(shù)據(jù)表與所述目標表進行比對，得到更新數(shù)據(jù)，包括：

獲取所述增量數(shù)據(jù)表與所述目標表內(nèi)的數(shù)據(jù)；

將所述數(shù)據(jù)進行比對，若所述數(shù)據(jù)相同，則不進行數(shù)據(jù)更新，若所述數(shù)據(jù)不同，則進行數(shù)據(jù)更新；

匯總所有更新完成的數(shù)據(jù)，得到所述更新數(shù)據(jù)。

6.如權(quán)利要求1所述的數(shù)據(jù)增量更新及查詢方法，其特征在于，所述將所述更新數(shù)據(jù)抽取至所述目標表，包括：

獲取預(yù)先設(shè)定的游標，其中，所述游標中包含查詢語句；

在所述增量數(shù)據(jù)表與所述目標表中執(zhí)行所述游標中的查詢語句，將所述更新數(shù)據(jù)抽取至所述更新表。

7.如權(quán)利要求1所述的數(shù)據(jù)增量更新及查詢方法，其特征在于，所述獲取所述數(shù)據(jù)庫中的視圖，通過所述目標表中的數(shù)據(jù)主鍵，將所述視圖與所述目標表進行關(guān)聯(lián)，得到關(guān)聯(lián)視圖，包括：

獲取所述目標表的數(shù)據(jù)主鍵；

利用預(yù)構(gòu)建的查詢語句將所述數(shù)據(jù)主鍵與所述視圖進行關(guān)聯(lián)，得到所述關(guān)聯(lián)視圖。

8.一種數(shù)據(jù)增量更新及查詢裝置，其特征在于，所述裝置包括：

原始數(shù)據(jù)抽取模塊，用于獲取原始數(shù)據(jù)集，并將所述原始數(shù)據(jù)集抽取至預(yù)設(shè)的數(shù)據(jù)湖；

原始數(shù)據(jù)導(dǎo)入模塊，用于將所述數(shù)據(jù)湖中的數(shù)據(jù)導(dǎo)入至預(yù)設(shè)的數(shù)據(jù)庫中，在所述數(shù)據(jù)庫中獲取預(yù)先設(shè)置的目標表、增量數(shù)據(jù)表及更新數(shù)據(jù)表；

增量數(shù)據(jù)獲取模塊，用于獲取所述數(shù)據(jù)庫中的源表，將所述源表中的數(shù)據(jù)抽取至所述目標表，并根據(jù)所述源表中的時間戳及預(yù)設(shè)的時間間隔，從所述數(shù)據(jù)庫中獲取增量數(shù)據(jù)，將所述增量數(shù)據(jù)抽取至所述增量數(shù)據(jù)表；

數(shù)據(jù)更新模塊，用于將所述增量數(shù)據(jù)表與所述目標表進行比對，得到更新數(shù)據(jù)，將所述更新數(shù)據(jù)抽取至所述目標表；

視圖關(guān)聯(lián)模塊，用于獲取所述數(shù)據(jù)庫中的視圖，通過所述目標表中的數(shù)據(jù)主鍵，將所述視圖與所述目標表進行關(guān)聯(lián)，得到關(guān)聯(lián)視圖。