[發明專利]利用虛擬多維數據集建立數據倉庫的方法和系統

無效

• 申請號: 201210067575.6
• 申請日: 2012-03-14
• 公開（公告）號: CN102662994A
• 公開（公告）日: 2012-09-12
• 發明（設計）人: 劉文圣;張眸;林敏;吳明星
• 申請（專利權）人: 北京久其軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李鶴松

技術領域

本發明關于數據倉庫技術領域，特別是關于一種利用虛擬多維數據集建立數據倉庫的方法和系統。

背景技術

目前，數據倉庫的建設方法，主要通過以下兩種現有技術來實現：

現有技術一：采用ETL(Extraction-Transformation-Loading，數據提取、轉換和加載)技術，將外圍系統的數據加載到數據倉庫中，進而建立數據集市，從而實現對于數據的多維分析。但是這種技術具有很顯著的缺陷，表現在：

1.實時性差，由于需要通過ETL等技術，將業務系統中數據加載到數據倉庫中，數據的實時性差，不能將最近最新的數據在數據倉庫中進行分析；

2.實施成本高，需要有專門的人員對于業務系統的數據進行分析，負責完成數據從數據源向目標數據倉庫轉移。

3.數據冗余存儲，傳統的數據倉庫的構建方法，要在數據倉庫中存儲大量的業務系統數據，這樣在存儲上產生了大量的冗余數據，并且當業務系統的數據一旦加載到數據倉庫中，對于先前數據的調整十分不便。

現有技術二：通過直接連接業務系統數據庫定制開發數據查詢引擎。這種技術的缺陷表現在：由于是定制開發，該方法不具備通用性。對每一個業務系統都要單獨開發數據查詢模塊，開發工作量大，建設速度慢，無法復用。

發明內容

鑒于現有技術的缺陷，本發明提供一種利用虛擬多維數據集建立數據倉庫的方法和系統，以減少搭建數據倉庫的實施工作量，并大幅度減少了業務系統數據在數據倉庫系統中的存儲量。

該利用虛擬多維數據集建立數據倉庫的系統包括：數據倉庫建立平臺和業務系統；

其中，所述數據倉庫建立平臺用于建立數據倉庫系統，所述數據倉庫系統包括：

包含元數據和映射數據的虛擬多維數據集；

映射模塊，用于對業務實體數據的元數據進行映射而生成所述的映射數據；

所述業務系統包括：

所述業務實體數據；

虛擬多維數據集接口，所述虛擬多維數據集通過所述虛擬多維數據集接口與所述業務系統進行數據通信。

所述利用虛擬多維數據集建立數據倉庫的系統還包括：

上層應用模塊，用于向所述數據倉庫系統發送多維數據查詢消息，并接收所述數據倉庫系統返回的多維數據查詢結果。

所述數據倉庫系統還包括：

多維數據查詢消息接收模塊，用于接收所述多維數據查詢消息；

多維數據查詢消息解析模塊，用于分析所述多維數據查詢消息，構建出面向所述業務系統的業務系統查詢對象；

業務系統查詢對象發送模塊，用于向所述業務系統發送所述業務系統查詢對象。

所述業務系統還包括：

業務系統查詢對象解析模塊，用于解析所述業務系統查詢對象，生成查詢對象解析結果信息；

數據查詢模塊，用于根據所述的查詢對象解析結果信息進行數據查詢，生成數據查詢結果；

數據查詢結果發送模塊，用于通過所述虛擬多維數據集接口向所述數據倉庫系統發送數據查詢結果。

所述數據倉庫系統還包括：

數據查詢結果接收模塊，用于接收所述數據查詢結果；

數據查詢結果合并計算模塊，用于對所述數據查詢結果進行合并計算，生成所述多維數據查詢結果；

多維數據查詢結果發送模塊，用于將整合后的數據結果發送至所述上層應用模塊。

所述業務實體數據包括：關系二維表、數據視圖、文件等不同存儲形式的數據。

所述的利用虛擬多維數據集建立數據倉庫的方法包括：

建立數據倉庫系統，包括：對業務實體數據進行映射而生成所述的映射數據；其中，所述數據倉庫系統包含：由元數據和所述映射數據組成的虛擬多維數據集；

使用業務系統與所述虛擬多維數據集進行數據通信；其中，所述業務系統包括：所述業務實體數據。

所述方法還包括：

向所述數據倉庫系統發送多維數據查詢消息，并接收所述數據倉庫系統返回的多維數據查詢結果。

所述方法還包括：

接收所述多維數據查詢消息；

分析所述多維數據查詢消息，構建出面向所述業務系統的業務系統查詢對象；

向所述業務系統發送所述業務系統查詢對象。

所述方法還包括：

解析所述業務系統查詢對象，生成查詢對象解析結果信息；

根據所述的查詢對象解析結果信息進行數據查詢，生成數據查詢結果；