[發明專利]大數據環境下實現歷史數據拉鏈表存儲建模處理的系統及方法

在審

• 申請號: 201910406723.4
• 申請日: 2019-05-16
• 公開（公告）號: CN110096509A
• 公開（公告）日: 2019-08-06
• 發明（設計）人: 陳順寬
• 申請（專利權）人: 普元信息技術股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 王潔;鄭暄

1.一種大數據環境下實現歷史數據拉鏈表存儲建模處理的系統，其特征在于，所述的系統包括：

數據初始化模塊，用于拉鏈表模型字段建模表結構定義和模型初始化；

數據正常拉鏈模塊，與所述的數據初始化模塊相連接，用于正常批量拉鏈表歷史數據加載；

數據回算拉鏈模塊，與所述的數據正常拉鏈模塊相連接，用于回算已經發生的拉鏈表歷史數據加載。

2.根據權利要求1所述的大數據環境下實現歷史數據拉鏈表存儲建模處理的系統，其特征在于，所述的數據初始化模塊包括：

拉鏈表模型結構定義單元，用于對拉鏈表模型進行結構定義，修改拉鏈表模型；

拉鏈表模型初始化單元，與所述的拉鏈表模型結構定義單元相連接，用于通過讀取配置指定的模型基礎生成對應的拉鏈表接口表和拉鏈表歷史表。

3.一種利用權利要求1所述的系統實現大數據環境下的歷史數據拉鏈表存儲建模處理的方法，其特征在于，所述的方法包括以下步驟：

(1)所述的數據初始化模塊進行拉鏈表結構定義，初始化拉鏈表接口和拉鏈表歷史表結構；

(2)判斷當前批量日期是否未跑過批量，如果是，則繼續步驟(3)；否則，繼續步驟(4)；

(3)所述的數據正常拉鏈模塊加載拉鏈表接口數據，并加載正常批量拉鏈表歷史數據；

(4)所述的數據回算拉鏈模塊加載拉鏈表接口數據，并回算已經發生的拉鏈表歷史數據加載。

4.根據權利要求3所述的實現大數據環境下的歷史數據拉鏈表存儲建模處理的方法，其特征在于，所述的步驟(3)中包括拉鏈表歷史數據正常加載數據存儲的過程，具體包括以下步驟：

(3.1)創建當月對應的分區，增加當前最新數據分區；

(3.2)抽取新增或有變化的數據，將全量表中新增和修改的數據插入到拉鏈表中，寫入M表；

(3.3)將主鍵相同、依賴增量不同的數據插入到目標中，寫入N表；

(3.4)將M表中新增標記的數據寫入Y表；

(3.5)刪除拉鏈表中已經在Y表存在的記錄；

(3.6)將N表中的記錄寫入目標拉鏈歷史表。

5.根據權利要求3所述的實現大數據環境下的歷史數據拉鏈表存儲建模處理的方法，其特征在于，所述的步驟(4)中包括拉鏈表歷史數據回算數據加載存儲的過程，具體包括以下步驟：

(4.1)取出拉鏈表當前業務日期不同的數據寫入M表，取出發生日期前一天之后的所有數據寫入Y表；

(4.2)取出發生前一天數據寫入M0表，取出發生后一天數據寫入Y表；

(4.3)將主鍵與臨時表相同的數據插入到臨時表中寫入N表，將原數據與新數據之間的差值寫入V表，將處理新數據后半部分的數據寫入M1表中；

(4.4)合并所有變化的數據寫入A表；

(4.5)刪除拉鏈表中在Y表中已經存在的記錄；

(4.6)將A表數據寫入拉鏈表歷史表。