[發明專利]一種基于數據治理及血緣關系設計的數據倉庫系統

在審

• 申請號: 201910324461.7
• 申請日: 2019-04-22
• 公開（公告）號: CN110232098A
• 公開（公告）日: 2019-09-13
• 發明（設計）人: 陳宇超;高至楠;王東洋;劉洋
• 申請（專利權）人: 匯通達網絡股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25;G06F16/2458
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 吳庭祥

1.一種基于數據治理及血緣關系設計的數據倉庫系統，其特征在于，包括數倉管理模塊、血緣關系管理模塊、元數據管理模塊、數據質量管理模塊和作業調度管理平臺；

其中，所述數倉管理模塊通過ETL工具采集業務系統數據，并根據傳統BI分層，借助報表工具為企業提供數據服務和決策支持；

所述血緣關系管理模塊將企業數據資產到數倉管理模塊的血緣鏈路關系可視化，并對數倉管理模塊的血緣關系進行管理；

所述元數據管理模塊定時收集業務系統和數倉管理模塊的元數據信息，以模塊劃分，業務系統包括營銷規劃、銷售平臺、銷售進程管理、客戶服務管理、客戶關系管理和風險防范；數據倉庫本身并不生產任何數據，數據來源于外部，并且開放給外部應用，分為三層：業務系統、數倉管理模塊、數據應用；

元數據管理模塊通過自動或者手動兩種采集方式定時收集業務系統和數倉管理模塊的元數據信息，統一存儲到MetaCube知識庫并集中管理，為上層元數據應用提供數據服務；

所述數據質量管理模塊協同作業調度管理平臺，通過配置作業、作業流的方式，按照既定的數據質量管理規則，定時核對業務系統與數倉管理模塊的數據，確保數據的準確性。

2.根據權利要求1所述的系統，其特征在于，所述數倉管理模塊包括業務系統數據沉淀層、主題域分層和標簽畫像層；

所述業務系統數據沉淀層采用全量數據采集、增量數據采集及特殊業務場景定制化數據采集方式采集數據；

所述主題域分層用于根據公司業務進行歸類；

所述標簽畫像層包括高度主題匯總層、數據服務層和敏捷BI數據集市層。

3.根據權利要求2所述的系統，其特征在于，針對數據量小于百萬級的業務系統數據采用全量數據采集方式；針對數據量超過百萬級且有更新時間戳的業務系統數據采用增量數據采集方式；針對數據量超百萬級但無更新時間戳的業務系統數據采用倒退歷史時間增量數據采集方式。

4.根據權利要求3所述的系統，其特征在于，所述血緣關系管理模塊用于數據源采集、ETL作業采集、存儲過程采集和報表血緣關系采集；

所述數據源采集包括數據源配置和采集任務調度配置；

所述ETL作業采集包括采集ETL數據源配置和執行采集作業；

所述存儲過程采集包括采集數據源配置和執行采集作業；

所述報表血緣關系采集包括采集報表數據源配置和執行采集作業。

5.根據權利要求4所述的系統，其特征在于，所述元數據管理模塊用于生成元數據采集報告和元數據版本報告，并管理元數據生命周期。

6.根據權利要求5所述的系統，其特征在于，所述數據質量管理模塊按照制定的一致性數據對比規則，對比統計周期內的業務系統和數據倉庫管理模塊的數據一致性，數據一致性包括數據量級、指標數據一致性，質量管理的統計時間頻率能夠配置到分鐘級、小時級、天級。

7.根據權利要求6所述的系統，其特征在于，所述一致性數據對比規則如下：

記錄數檢核：記錄數檢核是指各個數據區域相關數據之間的數據總數檢核或者數據表中每日數據量的變動檢核；

業務約束檢核：具體業務約束檢核要在項目實施過程中與業務人員共同確定，業務人員提出檢核規則，從業務的角度考慮數據的合理性；

空值檢核：空值檢核通過檢核一個數據集的特定屬性是否為空來衡量數據準確性；

非法值檢核：非法值檢核通過檢查數據的取值是否在一個范圍內來衡量其準確性，

碼值檢核：碼值檢核通過檢查字段值在碼表中是否真實存在來衡量數據準確性；

主鍵重復檢核：主鍵重復檢核通過對一張表中的一個或者兩個以上聯合字段進行檢查，通過判斷其是否唯一存在來衡量數據準確性。

8.根據權利要求7所述的系統，其特征在于，所述作業調度管理模塊包括作業、作業流配置、計劃配置、作業重刷機制配置和作業監控管理；作業能夠并行調度，也能夠串行調度，串行需要配置成作業流，作業流代表了作業執行調度的先后依賴關系，作業流允許失敗重刷機制，能夠從斷點或者重頭開始執行作業流調度。