[發(fā)明專利]一種快速生成全量數(shù)據(jù)拉鏈表的方法

在審

• 申請?zhí)枺?/td>: 201911385066.6
• 申請日: 2019-12-28
• 公開（公告）號: CN111104411A
• 公開（公告）日: 2020-05-05
• 發(fā)明（設(shè)計）人: 李泛洪
• 申請（專利權(quán)）人: 遼寧振興銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/242;G06F16/23
• 代理公司: 鄭州歐凱專利代理事務(wù)所(普通合伙) 41166
• 代理人: 郭遼原

本發(fā)明屬于數(shù)據(jù)生產(chǎn)技術(shù)領(lǐng)域，尤其為一種快速生成全量數(shù)據(jù)拉鏈表的方法，包括數(shù)據(jù)庫、關(guān)鍵信息抽取模塊、增量數(shù)據(jù)查找模塊，所述數(shù)據(jù)庫與關(guān)鍵信息抽取模塊信號連接，所述關(guān)鍵信息抽取模塊與增量數(shù)據(jù)查找模塊信號連接，所述增量數(shù)據(jù)查找模塊獲取增量數(shù)據(jù)；本發(fā)明，通過設(shè)置關(guān)鍵信息抽取模塊和增量數(shù)據(jù)查找模塊，可以實現(xiàn)一次生成增量數(shù)據(jù)表，一次性抽取全部增量數(shù)據(jù)，能夠提高數(shù)據(jù)抽取的效率，節(jié)省資源消耗，通過快速全量拉鏈算法，執(zhí)行一個SQL語句，執(zhí)行一次即可生成全量拉鏈數(shù)據(jù)，時間跨度1年，數(shù)據(jù)量一個億的拉鏈表生成，耗時30.42小時，而同樣配置的服務(wù)器集群下執(zhí)行本算法，只需要30分鐘，生成數(shù)據(jù)更加的快，節(jié)省了用戶成本。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)生產(chǎn)技術(shù)領(lǐng)域，具體涉及一種快速生成全量數(shù)據(jù)拉鏈表的方法。

背景技術(shù)

拉鏈表是維護歷史狀態(tài)，以及最新狀態(tài)數(shù)據(jù)的一種表，拉鏈表根據(jù)拉鏈粒度的不同，實際上相當于快照，只不過做了優(yōu)化，去除了一部分不變的記錄，通過拉鏈表可以很方便的還原出拉鏈時點的數(shù)據(jù)記錄，全量數(shù)據(jù)拉鏈表是基于全部增量數(shù)據(jù)表的全部數(shù)據(jù)生成的拉鏈表，常見拉鏈算法需要按時間點順序執(zhí)行拉鏈算法，不能并行也不能批量，只能根據(jù)時間點依次順序執(zhí)行，在增加拉鏈表需要增加字段，在時間點跨度較長的情況下重跑拉鏈數(shù)據(jù)，會導致耗時相當長，時長單位可能按天計算。

發(fā)明內(nèi)容

為解決上述背景技術(shù)中提出的問題。本發(fā)明提供了一種快速生成全量數(shù)據(jù)拉鏈表的方法，具有拉鏈表生成速度快的特點。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種快速生成全量數(shù)據(jù)拉鏈表的方法，包括數(shù)據(jù)庫、關(guān)鍵信息抽取模塊、增量數(shù)據(jù)查找模塊，所述數(shù)據(jù)庫與關(guān)鍵信息抽取模塊信號連接，所述關(guān)鍵信息抽取模塊與增量數(shù)據(jù)查找模塊信號連接，所述增量數(shù)據(jù)查找模塊獲取增量數(shù)據(jù)，所述增量數(shù)據(jù)通過快速全量拉鏈算法執(zhí)行SQL語句，所述執(zhí)行SQL語句可生成全量數(shù)據(jù)拉鏈表。

優(yōu)選的，所述數(shù)據(jù)庫內(nèi)抽取數(shù)據(jù)表的關(guān)鍵信息，以形成快照表，且關(guān)鍵信息包括數(shù)據(jù)表的標識和時間戳。

優(yōu)選的，所述增量數(shù)據(jù)查找模塊比較本次和上次抽取的快照表中的時間戳，獲取增量數(shù)據(jù)關(guān)鍵信息。

優(yōu)選的，所述增量數(shù)據(jù)包括數(shù)據(jù)表中增加、修改或刪除的數(shù)據(jù)。

優(yōu)選的，所述增量數(shù)據(jù)抽取模塊通過增量數(shù)據(jù)的關(guān)鍵信息的標識，從所述數(shù)據(jù)庫中抽取增量數(shù)據(jù)。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

本發(fā)明，通過設(shè)置關(guān)鍵信息抽取模塊和增量數(shù)據(jù)查找模塊，可以實現(xiàn)一次生成增量數(shù)據(jù)表，一次性抽取全部增量數(shù)據(jù)，能夠提高數(shù)據(jù)抽取的效率，節(jié)省資源消耗，通過快速全量拉鏈算法，執(zhí)行一個SQL語句，執(zhí)行一次即可生成全量拉鏈數(shù)據(jù)，時間跨度1年，數(shù)據(jù)量一個億的拉鏈表生成，耗時30.42小時，而同樣配置的服務(wù)器集群下執(zhí)行本算法，只需要30分鐘，生成數(shù)據(jù)更加的快，節(jié)省了用戶成本。

附圖說明

附圖用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：

圖1為本發(fā)明的系統(tǒng)示意圖；

圖2為本發(fā)明中快速全量拉鏈算法的示意圖；

圖中：1、數(shù)據(jù)庫；2、關(guān)鍵信息抽取模塊；3、增量數(shù)據(jù)查找模塊；4、增量數(shù)據(jù)；5、快速全量拉鏈算法；6、執(zhí)行SQL語句；7、全量數(shù)據(jù)拉鏈表。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

實施例1