[發明專利]一種基于可復用構件的數據倉庫構建方法

無效

• 申請號: 201210188408.7
• 申請日: 2012-06-11
• 公開（公告）號: CN103488631A
• 公開（公告）日: 2014-01-01
• 發明（設計）人: 馬昌波
• 申請（專利權）人: 上海博路信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種數據倉庫的構建方法，特別是指一種基于可復用構件的數據倉庫構建方法。?

背景技術

數據倉庫是計算機和數據庫應用發展到一定階段的必然產物，是支持企業決策分析的核心技術。數據倉庫的目的是建立一種體系結構化的數據存儲環境，將分析決策所需的大量數據從傳統的操作環境中分離出來，使分散、不一致的操作數據轉換為集成、統一的信息。然而，這個過程并非易事，這里所謂的傳統的操作環境，是指企業在不同時期、不同背景下開發出來的事務處理系統，這些系統的建立也往往是面向不同的應用、由不同的開發商來完成，其數據的存儲結構、存儲平臺和系統平臺具有很大的異構性。如何將這些異構的數據有效地集成到數據倉庫中，是企業所面臨的一個難題。企業需要一個全面的解決方案來解決數據的一致性和集成化問題，使人們能夠從所有的傳統平臺和環境中采集數據，并利用一個單一的解決方案對其進行高效的轉換，這個解決方案就是數據抽取、轉換和加載過程?ETL?(Extract?Transform?Load)。

ETL?是從各種異構操作型數據源中抽取數據，并對抽取到的數據進行轉換處理，最后加載到數據倉庫中的過程。它是建立數據倉庫的基石和靈魂，也是建立數據倉庫的必要步驟，在數據倉庫的建設過程中占有及其重要的地位。從整體角度來看，ETL?的主要作用在于其屏蔽了復雜的業務邏輯，從而為各種基于數據倉庫的分析和應用提供了統一的數據接口。可以說，ETL在傳統的業務系統和數據倉庫之間架立起了一座橋梁，確保新的數據能夠源源不斷地進入數據倉庫。

目前，國內外對于如何在類相似或相近的數據倉庫項目中共享ETL過程的研究較少，很大程度上阻礙了數據倉庫項目建設效率的進一步提高。?

發明內容

為縮短系統開發周期，提高系統質量，本發明開發了一種基于可復用構件的數據倉庫構建方法。

根據本發明，本系統包括：基礎服務層、抽取層、集成轉換層、特殊處理層四個層次；

所述基礎服務層包含元數據管理構件、層間接口構件、關鍵績效指標自動測試構件三類；

所述元數據管理構件主要完成ETL子系統中元數據管理模塊的功能；

所述層間接口構件從抽象層面上為各數據倉庫項目提供一個相同的ETL處理框架，為ETL處理過程各層次的各種功能構件提供接口，實現構件具體處理過程對架構的透明化；

所述關鍵績效指標自動測試構件為每類關鍵績效指標提供一個自動測試構件；

所述抽取層構件位于ETL架構的最底層，直接面對數據源，完成數據抽取階段的工作，該層的ETL構件在不同數據倉庫間差異很大，可重用程度總體上比較低；

所述集成轉換層構件主要將抽取層抽取的數據轉換成格式規范、含義統一、質量良好的數據，并集成到數據倉庫中；所述集成轉換層為每類數據對象提供一類ETL處理構件，同層構件之間相對獨立，通過抽象各個相似數據倉庫項目業務規則，將其封裝在構件內，保證ETL架構在相似數據倉庫之間移植時，只要通過配置業務規則，ETL構件即可投入使用；

所述特殊處理層在集成轉換層構件處理的基礎上，負責將數據倉庫中按流水交易形式組織的數據換算成按關鍵績效指標組織的形式。

?

附圖說明

圖1為本發明架構的示意圖。

此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發明的示意性實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。

?

具體實施方式

實施例1。

下面參照附圖1對本發明進行更全面的描述，其中說明本發明的示例性實施例。

本系統包括：基礎服務層（a）、抽取層（b）、集成轉換層（c）、特殊處理層（d）四個層次；

所述基礎服務層（a）包含：

元數據管理構件（a1）

層間接口構件（a2）

關鍵績效指標自動測試構件（a3）；

所述元數據管理構件（a1）主要完成ETL子系統中元數據管理模塊的功能；

所述層間接口構件（a2）從抽象層面上為各數據倉庫項目提供一個相同的ETL處理框架，為ETL處理過程各層次的各種功能構件提供接口，實現構件具體處理過程對架構的透明化；

所述關鍵績效指標自動測試構件（a3）為每類關鍵績效指標提供一個自動測試構件；