[發明專利]數據倉庫的數據標準化構建方法及系統

有效

• 申請號: 201410707013.2
• 申請日: 2014-12-01
• 公開（公告）號: CN104391948B
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 鐘世冠;蘇超;覃杰聰;阮國恒;陳少敏;潘世成;李文航;肖遜
• 申請（專利權）人: 廣東電網有限責任公司清遠供電局;廣州粵能信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及數據庫領域，尤其涉及一種數據倉庫的數據標準化構建方法及系統。

背景技術

在事務處理系統中的數據，主要用于記錄和查詢業務情況。隨著數據倉庫(DW)技術的不斷成熟，企業的數據逐漸變成了決策的主要依據。數據倉庫中的數據是從許多業務處理系統中抽取、轉換而來，對于這樣一個復雜的企業數據環境，如何以安全、高效的方式來對它們進行管理和訪問就變得尤為重要。解決這一問題的關鍵是數據倉庫的數據標準化構建。

發明內容

本發明的目的是提供一種數據倉庫的數據標準化構建方法，能有效數據倉庫的數據進行標準化構建，從而利于對標準化構建后的數據庫的搜索，提高數據訪問的效率。

本發明實施例提供了一種數據倉庫的數據標準化構建方法，包括步驟：

S1、獲取用于標準化構建的數據倉庫的每一個源數據表；其中，每一個源數據表中包括M條關于維度的記錄以及N條關于度量的記錄，所述M、N為大于等于0的整數；

S2、將每一所述源數據表對應拆分為一個以所述N個度量為主的事實表以及M個維度表；其中將對應的N條度量數據存儲在所述事實表中，并將所述事實表與M個維度表的對應關聯關系記錄在所述事實表中；將對應的M條維度數據存儲在對應的M個維度表中，并生成一個維度的維度ID；

S3、將拆分后的且存在笛卡爾乘積的每一所述維度表拆分為對應多個單一維度的維度表；其中，存在笛卡爾乘積的每一所述維度表包括m個維度，則對應拆分為m個單一維度表，每一個單一維度表對應存儲一個維度數據，并同時將所述事實表中與存在笛卡爾乘積的所述維度表關聯的維度ID對應拆分m個單一維度ID，以對應m個單一維度表；

S4、基于生成的所述事實表和維度表的關聯關系而構成星形連接網絡，從而使數據標準化后的數據倉庫為具有星形結構的關系型數據庫。

作為上述方案的改進，在所述步驟S2和/或S3中，拆分后的所述M個維度表分別包括維度ID以及與該維度表相對應的一組特征字段；

拆分后的所述事實表包括M個分別指向所述M個維度表中的維度ID的維度ID以及N條度量字段。

作為上述方案的改進，在所述步驟S2和/或S3中，多個所述源數據表對應拆分出來的多個維度表中，屬于相同維度的兩個以上的維度表可合并成一個維度表；在合并后的所述維度表中，可根據維度ID來依次排列合并前的每個維度表的記錄信息。

本發明實施例還提供了一種數據倉庫的數據標準化構建系統，包括：

源數據表獲取單元，獲取用于標準化構建的數據倉庫的每一個源數據表；其中，每一個源數據表中包括M條關于維度的記錄以及N條關于度量的記錄，所述M、N為大于等于0的整數；

源數據表拆分單元，將每一所述源數據表對應拆分為一個以所述N個度量為主的事實表以及M個維度表；其中將對應的N條度量數據存儲在所述事實表中，并將所述事實表與M個維度表的對應關聯關系記錄在所述事實表中；將對應的M條維度數據存儲在對應的M個維度表中，并生成一個維度的維度ID；

多維度表拆分單元，將拆分后的且存在笛卡爾乘積的每一所述維度表拆分為對應多個單一維度的維度表；其中，存在笛卡爾乘積的每一所述維度表包括m個維度，則對應拆分為m個單一維度表，每一個單一維度表對應存儲一個維度數據，并同時將所述事實表與存在笛卡爾乘積的所述維度表關聯的維度ID對應拆分m個單一維度ID，以對應m個單一維度表；以及

星形模型構建單元，基于生成的所述事實表和維度表的關聯關系而構成星形連接網絡，從而使數據標準化后的數據倉庫為具有星形結構的關系型數據庫。

作為上述方案的改進，在所述源數據表拆分單元和/或多維度表拆分單元中，拆分后的所述M個維度表分別包括維度ID以及與該維度表相對應的一組特征字段；

拆分后的所述事實表包括M個分別指向所述M個維度表中的維度ID的維度ID以及N條度量字段。

作為上述方案的改進，在所述源數據表拆分單元和/或多維度表拆分單元中，多個所述源數據表對應拆分出來的多個維度表中，屬于相同維度的兩個以上的維度表可合并成一個維度表；在合并后的所述維度表中，可根據維度ID來依次排列合并前的每個維度表的記錄信息。