[發明專利]一種歷史數據管理的增量定義、處理方法

無效

• 申請號: 201010101548.7
• 申請日: 2010-01-27
• 公開（公告）號: CN101794299A
• 公開（公告）日: 2010-08-04
• 發明（設計）人: 張家重;范友前;祝鵬;王紅娟;孫成通
• 申請（專利權）人: 浪潮(山東)電子信息有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種計算機應用技術，具體地說是一種歷史數據管理的增量定 義、處理方法。

背景技術

數據倉庫，英文名稱為Data?Warehouse，可簡寫為DW。數據倉庫是 決策支持系統和聯機分析應用數據源的結構化數據環境。是一個面向主題 的、集成的、相對穩定的、反映歷史變化(Time?Variant)的數據集合。

數據倉庫需要包含歷史數據和當前數據，記錄從過去某一時點到目前各個 階段的數據。通常在企業數據倉庫建設中，歷史數據管理一般都是采取簡單的 時間戳管理。歷史數據隨著時間積累，數據量呈幾何級放大，所需要的存儲空 間增長較快；同時，系統性能隨著數據量級的增加也會急劇下降。因此，必須 進行數據的增量管理，并且可以根據數據的重要程度選擇增量內容。

手工編寫歷史數據管理，由于數據倉庫中業務對象較多和數據倉庫類型版 本之間的差異等等，這無疑是一項繁瑣、耗時的工作，重復程度高，同時工作 質量也難以保證。因此需要一種通用高效的增量數據定義、處理方法對歷史數 據進行管理。

發明內容

本發明的技術任務是提供一種不改變原有業務數據模型的基礎上，通過簡 單的繼承擴充，就可實現歷史數據的增量存儲管理，節省了存儲空間，提高了 系統性能的一種歷史數據管理的增量定義、處理方法。

本發明的技術任務是按以下方式實現的，

其核心是增量歷史數據模型、增量數據定義、歷史數據生成；系統實施人 員通過圖形化的歷史數據模型設計器、增量數據定義器，直接生成歷史數據管 理代碼；實現了歷史數據管理的通用高效；

(1)、通過歷史數據模型設計器實現增量歷史數據模型：

根據數據生命周期管理理念，歷史數據模型繼承業務數據模型，即在業務 數據模型的基礎上，增加開始時間、結束時間兩個字段，開始時間為歷史數據 模型的主鍵；

(2)、通過增量數據定義器實現增量數據定義：

根據數據的重要程度，將源表ST的數據列劃分為關鍵項目、非關鍵項目 兩組。關鍵項目是增量判斷的標準，當關鍵項目組內的數據發生變化時，則表 示當前數據記錄生命周期已結束，需要標識結束時間戳，同時生成一條新的數 據記錄；非關鍵項目不參與到增量判斷中，當非關鍵項目組成的數據發生變化 時，其對當前數據記錄生命周期沒有影響；

(3)、基于數據庫通用的集合運算算法的歷史數據生成：

采用數據庫通用的集合運算，判斷已到達生命周期的數據和開始生命周期 的數據，計算效率高；

歷史數據生成采用數據庫通用的集合運算算法，具體步驟如下：

(a)、指定參與到集合運算的業務字段，即關鍵項目及業務主鍵字段；

(b)、運用集合運算except：歷史表HT?except源表ST，判斷已到達生 命周期的數據，存入臨時表TT1中；

(c)、對于已到達生命周期的數據，根據其業務主鍵，更新歷史表HT中 對應數據的結束日字段；

(d)、運用集合運算except：源表ST?except歷史表HT，判斷新增的數 據，存儲臨時表TT2中；

(e)、對于新增數據，直接插入到歷史表HT中。

為了增量數據定義的方便，在增量數據定義中提供了專門的人機界面；在 界面中，可以直接通過選擇操作，選擇哪些數據列歸屬關鍵項目組，哪些數據 列歸屬非關鍵項目組；指定業務主鍵列。

在增量數據定義界面中，完成增量數據定義后，可實時瀏覽生成的歷史數 據管理代碼。

本發明的一種歷史數據管理的增量定義、處理方法具有以下優點：

1、系統實施人員通過圖形化的歷史數據模型設計器、增量數據定義器， 直接生成歷史數據管理代碼，實現了歷史數據管理的通用高效；

2、歷史數據模型在不改變原有業務數據模型的基礎上，通過簡單的繼承 擴充，就可實現歷史數據的增量存儲管理，節省了存儲空間，提高了系統性能；

3、通過本發明提供的增量數據定義器，可以定制業務數據模型哪些字段 需要存儲，哪些字段是業務主鍵，方便了業務需求的變更；

4、軟件系統能夠快速適應用戶的個性化需求，滿足用戶不斷發展和完善 信息系統的長期目標；

5、設計合理、使用方便，因而，具有很好的推廣使用價值。

附圖說明