[發明專利]一種DataVault模型數據倉庫自動構建的方法及裝置

有效

• 申請號: 201510272096.1
• 申請日: 2015-05-25
• 公開（公告）號: CN104866576B
• 公開（公告）日: 2018-03-02
• 發明（設計）人: 簡宋全;李青海;侯大勇;鄒立斌;許飛月
• 申請（專利權）人: 廣東精點數據科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京隆源天恒知識產權代理事務所(普通合伙)11473
• 代理人: 閆冬

技術領域

本發明涉及一種數據倉庫的構建領域，具體涉及一種Data Vault模型數據倉庫自動構建的方法及裝置。

背景技術

Data Vault是一種構建數據倉庫的建模方法，無論數據在當時業務層面的對與錯，這種建模方法保留所有的歷史數據。用這種建模方法構建的數據倉庫稱為企業級的數據倉庫，它包括了從企業各個數據庫集成過來的所有的歷史數據，它位于業務系統和數據集市之間，也是數據集市的唯一數據來源。Data Vault是面向細節，可追蹤歷史的，它是一組有連接關系的規范化的表的集合，這些表可以支持一個或多個業務功能。Data Vault只按照業務數據的原樣保存數據，不做任何解釋、過濾、清洗、轉換。Data Vault模型的主要組成部分包括了中心表、鏈接表和附屬表。中心表相當于業務實體表，包含業務實體的主鍵即業務主鍵，鏈接表是鏈接業務實體的表，其中包含了中心表中的業務主鍵，用于將中心表鏈接起來，代表了業務主鍵的業務關系。中心表和鏈接表是用于呈現業務實體和業務實體之間邏輯關系的表，其包含的字段只有代理鍵和時間戳等信息，附屬表則是依附于中心表或者鏈接表，用于完成對業務實體或業務實體之間關系的信息的補充。企業數據倉庫構建人員需要在源數據庫中尋找業務實體并將業務主鍵和業務主鍵之間的關系按照Data Vault的建模規范集合到中心表、鏈接表和附屬表當中。

Data Vault模型所建立的數據倉庫與構建普通的數據倉庫最大的不同在于構建的過程。原有的數據倉庫直接構成數據集市，是面向主題的，需要在這個層面上給業務決策人展現業務報表，于是它的數據倉庫構建過程需要按照每一次不同的主題來進行數據抽取、抓換和加載，數據抽取、轉換和加載三項過程都會因主題的不同而有所變化。而企業數據倉庫是面向歷史的，它構建的數據倉庫是一種包含了所有歷史信息，包括錯誤的和重復的信息的數據倉庫，它可以再經過數據處理來獲得各個方面各個層面的報表，它不是直接面向業務決策人員的，而它的內容非常靈活，而且不再依賴于源數據庫。

但是現如今的技術人員仍按照構建普通數據倉庫的方式構建企業級數據倉庫，即目前的構建普通數據倉庫的技術包括了先構建邏輯上的中心表、鏈接表和附屬表，再根據邏輯構建的表與表之間的關系，從源數據庫中逐個抽取表的內容并建表。無法批量式構建企業數據倉庫，費時費力。

鑒于上述缺陷，本發明創作者經過長時間的研究和試驗,最終獲得了本發明。

發明內容

本發明的目的在于提供一種Data Vault模型數據倉庫自動構建的方法及裝置，用以克服上述技術缺陷。

為實現上述目的，本發明采用的技術方案在于：

一方面提供一種Data Vault模型數據倉庫自動構建裝置，該構建裝置包括表查詢裝置和建表裝置，

所述表查詢裝置，用于接收用戶輸入的中心字段組，所述中心字段組包括多個中心字段，并對所述中心字段組進行處理后，輸出總體信息表和中心字段關聯信息表；所述總體信息表記錄有所述中心字段組中每一個中心字段以及該中心字段的主表和附表在源數據庫表中的表號信息，所述中心字段關聯信息表記錄有所述中心字段組中所有的中心字段相互之間的邏輯關系；

所述建表裝置，用于接收所述總體信息表和中心字段關聯信息表，通過分析處理所述中心字段關聯信息表得到中間表，再根據所述中間表得到中心字段組合信息表后，再根據所述總體信息表自動創建中心表，根據所述中心字段組合信息表自動創建鏈接表，根據源數據庫表和所述中心表自動創建附屬表，完成企業級數據倉庫的構建。

進一步，所述表查詢裝置包括第一初始化單元、搜索單元、判斷單元、寫入單元、匹配單元和記錄單元；

所述第一初始化單元，用于對所述中心字段組進行初始化，并形成初始化中心字段關聯信息表；

所述搜索單元，用于在源數據庫表中尋找具有被搜索中心字段的表；

所述判斷單元，用于判斷所述被搜索中心字段在具有所述被搜索中心字段的表中是否為主鍵，如果是主鍵，則將具有所述被搜索中心字段的表作為所述被搜索中心字段的主表；如果不是主鍵，則將具有所述被搜索中心字段的表作為所述被搜索中心字段的附表；

所述寫入單元，用于將所述被搜索中心字段和具有所述被搜索中心字段的主表和附表的信息寫入所述總體信息表中；

所述匹配單元，用于查詢所述被搜索中心字段的附表，將用戶輸入的中心字段組中其他中心字段與所述被搜索中心字段的附表進行匹配查詢，若所述被搜索中心字段的附表中有其他中心字段，則將其他中心字段設為所述被搜索中心字段的主動關聯中心字段；