[發(fā)明專利]大數(shù)據(jù)環(huán)境下實現(xiàn)歷史數(shù)據(jù)拉鏈表存儲建模處理的系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201910406723.4
• 申請日: 2019-05-16
• 公開（公告）號: CN110096509A
• 公開（公告）日: 2019-08-06
• 發(fā)明（設計）人: 陳順寬
• 申請（專利權）人: 普元信息技術股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 王潔;鄭暄

本發(fā)明涉及一種大數(shù)據(jù)環(huán)境下實現(xiàn)歷史數(shù)據(jù)拉鏈表存儲建模處理的系統(tǒng)，包括數(shù)據(jù)初始化模塊，用于拉鏈表模型字段建模表結構定義和模型初始化；數(shù)據(jù)正常拉鏈模塊；數(shù)據(jù)回算拉鏈模塊。本發(fā)明還涉及一種實現(xiàn)大數(shù)據(jù)環(huán)境下的歷史數(shù)據(jù)拉鏈表存儲建模處理的方法。采用了本發(fā)明的大數(shù)據(jù)環(huán)境下實現(xiàn)歷史數(shù)據(jù)拉鏈表存儲建模處理的系統(tǒng)及方法，通過數(shù)據(jù)的實際情況進行拉鏈存儲，拉鏈后相同的數(shù)據(jù)不做重復存儲可以最大限度的壓縮存儲的大小。拉鏈表模型自動定義數(shù)據(jù)結構規(guī)范滿足多種業(yè)務發(fā)展需要，可以迅速的定位所需要時間段或者時間點的業(yè)務數(shù)據(jù)，檢索效率非常高，該發(fā)明能夠保證數(shù)據(jù)的完整性，系統(tǒng)的保持良好的性能，保持批量健壯性。還能明顯節(jié)省硬件成本。

技術領域

本發(fā)明涉及計算機領域，尤其涉及大數(shù)據(jù)領域，具體是指一種大數(shù)據(jù)環(huán)境下實現(xiàn)歷史數(shù)據(jù)拉鏈表存儲建模處理的系統(tǒng)及方法。

背景技術

大數(shù)據(jù)時代，越來越多的企業(yè)需要大量的數(shù)據(jù)來滿足業(yè)務的需要。大中型企業(yè)都需要保存，海量數(shù)據(jù)來分析、挖掘、存儲歷史數(shù)據(jù)。客戶的數(shù)據(jù)越來越顯的尤為重要。海量的數(shù)據(jù)存儲及數(shù)據(jù)的讀取訪問對于大多數(shù)企業(yè)來說存在一定的瓶頸。傳統(tǒng)的數(shù)據(jù)開發(fā)方法，在這塊不能很好的解決存在的矛盾。

目前傳統(tǒng)領域的數(shù)據(jù)建模對基礎領域的基礎數(shù)據(jù)采用直接存儲、增量數(shù)據(jù)儲存、按照日期月度滾動分區(qū)。直接存儲的方案對于不需要保留歷史數(shù)據(jù)的情況可以解決。保留歷史數(shù)據(jù)的情況下需要耗費大量的存儲空間存在比較多的冗余數(shù)據(jù)。保留數(shù)據(jù)周期非常短，基礎數(shù)據(jù)只能保存一個月左右。增量數(shù)據(jù)能夠滿足較長的歷史數(shù)據(jù)存儲的應用。但對于存在不定期更新時更新效率比較低、同樣查詢效率比較低。增量數(shù)據(jù)在后期查詢檢索效率比較低。按照日期月度滾動分區(qū)，只保留一個月的數(shù)據(jù)。歷史數(shù)據(jù)完整性較差，占用空間對于大數(shù)據(jù)量的，存在較多的冗余數(shù)據(jù)。拉鏈表存儲數(shù)據(jù)解決方發(fā)，解決了以上三種現(xiàn)有常用方案的不理想的現(xiàn)狀。拉鏈表存儲數(shù)據(jù)方法，能夠保持少量的空間、存儲全量的歷史數(shù)據(jù)、擁有高效率的讀寫速度，各方面的指標開銷較小。

歷史數(shù)據(jù)拉鏈表存儲解決方發(fā)還不能很好的支持字段類型為大數(shù)據(jù)類型的數(shù)據(jù)(比如：LONG\CLOB\BLOB)等類型的數(shù)據(jù)。也不能跨數(shù)據(jù)庫支持多種數(shù)據(jù)庫的歷史數(shù)據(jù)拉鏈。目前只支持oracle下的解決方案。在以后的后續(xù)過程中過程會根據(jù)需要支持大數(shù)據(jù)類型的數(shù)據(jù)格式和其他數(shù)據(jù)庫的方案。

發(fā)明內容

本發(fā)明的目的是克服了上述現(xiàn)有技術的缺點，提供了一種滿足讀取速度快、系統(tǒng)性能好、硬件成本低的大數(shù)據(jù)環(huán)境下實現(xiàn)歷史數(shù)據(jù)拉鏈表存儲建模處理的系統(tǒng)及方法。

為了實現(xiàn)上述目的，本發(fā)明的大數(shù)據(jù)環(huán)境下實現(xiàn)歷史數(shù)據(jù)拉鏈表存儲建模處理的系統(tǒng)及方法如下：

該大數(shù)據(jù)環(huán)境下實現(xiàn)歷史數(shù)據(jù)拉鏈表存儲建模處理的系統(tǒng)，其主要特點是，所述的系統(tǒng)包括：

數(shù)據(jù)初始化模塊，用于拉鏈表模型字段建模表結構定義和模型初始化；

數(shù)據(jù)正常拉鏈模塊，與所述的數(shù)據(jù)初始化模塊相連接，用于正常批量拉鏈表歷史數(shù)據(jù)加載；

數(shù)據(jù)回算拉鏈模塊，與所述的數(shù)據(jù)正常拉鏈模塊相連接，用于回算已經(jīng)發(fā)生的拉鏈表歷史數(shù)據(jù)加載。

較佳地，所述的數(shù)據(jù)初始化模塊包括：

拉鏈表模型結構定義單元，用于對拉鏈表模型進行結構定義，修改拉鏈表模型；

拉鏈表模型初始化單元，與所述的拉鏈表模型結構定義單元相連接，用于通過讀取配置指定的模型基礎生成對應的拉鏈表接口表和拉鏈表歷史表。

該基于上述系統(tǒng)實現(xiàn)大數(shù)據(jù)環(huán)境下的歷史數(shù)據(jù)拉鏈表存儲建模處理的方法，其主要特點是，所述的方法包括以下步驟：

(1)所述的數(shù)據(jù)初始化模塊進行拉鏈表結構定義，初始化拉鏈表接口和拉鏈表歷史表結構；

(2)判斷當前批量日期是否未跑過批量，如果是，則繼續(xù)步驟(3)；否則，繼續(xù)步驟(4)；