[發明專利]一種基于數據治理及血緣關系設計的數據倉庫系統

在審

• 申請號: 201910324461.7
• 申請日: 2019-04-22
• 公開（公告）號: CN110232098A
• 公開（公告）日: 2019-09-13
• 發明（設計）人: 陳宇超;高至楠;王東洋;劉洋
• 申請（專利權）人: 匯通達網絡股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25;G06F16/2458
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 吳庭祥

本發明公開了一種基于數據治理及血緣關系設計的數據倉庫系統，包括數倉管理模塊、血緣關系管理模塊、元數據管理模塊、數據質量管理模塊和作業調度管理平臺。其中，數倉管理模塊負責將企業數據收集、按照主題域劃分、精準標簽畫像及數據服務；血緣關系管理模塊圍繞著數倉模塊，自下而上，即可查詢，又可全鏈路可視化展示數倉的血緣關系；數據質量管理模塊協同作業調度管理平臺，定時巡檢數據和業務一致性；元數據管理模塊，定時反饋企業庫表的生命周期及版本報告。

技術領域

本發明涉及計算機互聯網數據倉庫設計技術，尤其涉及一種基于數據治理及血緣關系設計的數據倉庫系統。

背景技術

數據治理是校驗生產業務系統的數據規則以及業務系統和數倉系統的數據一致性；血緣關系是自下而上，全鏈路展示企業數據倉庫系統的數據血緣管理，便于快速對數據進行影響分析。

傳統標準化的數據倉庫，僅僅是對企業的數據資產進行了沉淀，沒有對數據進行系統范疇方面的管理，出現問題后，解決時效差，而且修改的不全面，一個問題可能周邊影響的業務比較多。

隨著企業業務的發展日新月異，數據資產的積累尤為重要，數據的沉淀、數據治理及數據血緣三者缺一不可。

發明內容

本發明要解決的技術問題是建立一套成熟的企業數據倉庫系統，成熟的數據資產體系，可以快速有效的對外提供精準的數據服務。為了解決上述技術問題，本發明提供了一種基于數據治理及血緣關系設計的數據倉庫系統，包括數倉管理模塊、血緣關系管理模塊、元數據管理模塊、數據質量管理模塊和作業調度管理平臺；

其中，在企業數據大量存在的前提下，所述數倉管理模塊通過ETL(ETL：即Extract-Transform-Load，將源數據通過抽取(Extract)、轉換(Transform)、加載(Load)的方式至目標的過程)工具采集業務系統(業務系統：即企業數據的源系統)數據、根據傳統BI分層設計(業務系統數據沉淀層、主題域分層和標簽畫像層)、借助報表工具(羅盤、敏捷BI)等，為企業提供數據服務和決策支持。

所述血緣關系管理模塊將企業數據資產到數倉管理模塊的血緣鏈路關系可視化，并對數倉管理模塊的血緣關系進行管理；

所述元數據管理模塊定時收集業務系統和數倉管理模塊的元數據信息，業務系統是匯通達把自己的產品推向市場并取得最大化收益的一個企業分系統。以模塊劃分，業務系統包括營銷規劃、銷售平臺、銷售進程管理、客戶服務管理、客戶關系管理、風險防范。數倉管理模塊本身并不生產任何數據，數據來源于業務系統，并且開放給外部應用，可以分為三層：業務系統、數據管理模塊、數據應用。

元數據管理模塊通過自動或者手動兩種采集方式定時收集業務系統和數倉管理模塊的元數據信息，統一存儲到MetaCube(MetaCube管理平臺是一款基于WEB方式的元數據管理工具)知識庫并集中管理，為上層元數據應用提供數據服務，便于用戶瀏覽及分析元數據；幫助用戶了解和管理信息和加工處理過程的來源，也有助于用戶理解信息與加工過程之間的關系以及它們如何被使用；

所述數據質量管理模塊協同作業調度管理平臺，通過配置作業、作業流的方式，按照既定的數據質量管理規則，定時核對業務系統與數倉管理模塊的數據，業務數據包括了交易平臺、產品平臺、帳戶平臺、用戶管理、風控平臺、運營、線下管理等場景數據，每個場景的數據都存在著眾多復雜的業務邏輯。確保數據的準確性。

所述數倉管理模塊包括業務系統數據沉淀層、主題域分層和標簽畫像層；

所述業務系統數據沉淀層借助ETL工具，采用全量數據采集、增量數據采集及特殊業務場景(外部文件、手工填報數據等)定制化數據采集方式采集數據；