[發明專利]數據倉庫可視化建模方法、裝置及介質

在審

• 申請號: 202011284253.8
• 申請日: 2020-11-17
• 公開（公告）號: CN112364094A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 朱瀟婷;彭浩;張雪軍;黃天德;譚必文
• 申請（專利權）人: 珠海市卓軒科技有限公司
• 主分類號: G06F16/26
• 分類號: G06F16/26;G06F16/21
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 葉琦煒

本發明涉及一種數據倉庫可視化建模方法、裝置及介質的技術方案，包括：全局規劃，將用于業務的數據倉庫以自頂向下創建業務數據總線；數據引入，基于所述全局規劃，根據所述業務數據總線配置對應的項目空間及物理數據源；規范定義，根據所述業務數據總線及物理數據源構建可視化數據模型；可視化分析，通過可視化界面對數據源的分布及詳情進行可視化展示。本發明的有益效果為：基于規范定義的企業維度、業務過程、原子指標、派生指標，通過自動化代碼，進一步細化開發維度表、事實表和匯總表；生成企業數據倉庫模型，便于業務分層的數據應用，同時優化計算和存儲；數據豐富融通，主題化服務更智能。

技術領域

本發明涉及計算機領域，具體涉及了一種數據倉庫可視化建模方法、裝置及介質。

背景技術

在數據急劇增長的情況下，企業面臨更多的數據問題：數據不統一，計算邏輯不一致；數據未打通，孤島現象嚴重；源系統或業務變更與數據不同步導致維護困難；重復建設導致數據時效性差；數據加工錯綜復雜,很少有人能把左右字段處理過程記的一清二楚，數據血緣無處可尋。

因為業務系統多、數據來源多，經營所需的數據需求高頻且多樣化。但數據體系復雜、數據不統一，數據分析速度和數據準確一致性難保障，戰略決策與數據化運營受阻。現有數據處理技術無法快速的處理大量錯綜復雜的業務數據；數據建模沒有規范定義，導致不同的建模人員有不同的處理方法；數據越復雜，數據處理難度越大，導致數據處理門檻和成本往往高且低效，復用性低。

發明內容

本發明的目的在于至少解決現有技術中存在的技術問題之一，提供了一種數據倉庫可視化建模方法、裝置及介質，通過對游戲數據進行分區及多維存儲，通過多維查詢對業務需求進行快捷數據展示。

本發明的技術方案包括一種數據倉庫可視化建模方法，其特征在于，該方法包括：全局規劃，將用于業務的數據倉庫以自頂向下創建業務數據總線；數據引入，基于所述全局規劃，根據所述業務數據總線配置對應的項目空間及物理數據源；規范定義，根據所述業務數據總線及物理數據源構建可視化數據模型；可視化分析，通過可視化界面對數據源的分布及詳情進行可視化展示。

根據所述的數據倉庫可視化建模方法，其中的全局規劃包括：根據業務全局，從頂層自下規劃設計業務數據總線，具體包括劃分命名空間、定義主題域及相關名詞、劃分管理單元、定義數據源及計算引擎源。

根據所述的數據倉庫可視化建模方法，其中的數據引入包括：基于全局設計定義的項目空間與物理數據源，將若干數量的業務系統及不同類型的數據抽取加載至目標數據庫。

根據所述的數據倉庫可視化建模方法，其中的數據引入包括：配置數據源，根據數據總線需求，配置作為源數據的數據源，從對應數據庫將數據進行導出；數據抽取，根據數據源的類型及配置數據，進行數據的抽取及采集；數據轉換，對已采集的數據源的字段進行轉換和過濾；數據寫入，將已過濾并轉換后的數據源，按照配置的字段映射關系進行寫入目標數據庫；目標數據源同步，將數據源導入至目標數據庫對應表和字段，同步源數據與目標數據。

根據所述的數據倉庫可視化建模方法，其中的數據抽取包括：根據源數據源和目標數據源的類型讀取相應的模板文件，組裝數據參數，提交到數據抽取引擎中，創建任務執行的上下文，基于模板中配置預處理流程，通過反射調用相應的處理類進行數據的預處理，同時初始化讀線程和寫線程，提交到線程池執行抽取。

根據所述的數據倉庫可視化建模方法，其中的規范定義包括：結構化定義數據元素，其中數據元素包括維度、原子指標、業務限定、業務過程、統計周期及派生指標；構建可視化數據模型，包括：通過可視化交互界面的配置創建維度表、事實表及匯總表時的組裝sql語句，并從各個來源主表中同步數據到所創建的表中。