[發明專利]基于數倉實現多維立方體數據分析方法

在審

• 申請號: 202011340150.9
• 申請日: 2020-11-25
• 公開（公告）號: CN112559516A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 周道華;李武鴻;楊陳;周濤;曾俊;黃泓蓓;黃維;伏彥林;劉杰;王小臘;洪江;彭容;羅玉;周林;張明娟;許江澤;吳婷婷;詹飛
• 申請（專利權）人: 成都中科大旗軟件股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28
• 代理公司: 成都立新致創知識產權代理事務所(特殊普通合伙) 51277
• 代理人: 周方建

本發明涉及一種基于數倉實現多維立方體數據分析方法，基于數據倉庫底層存儲，采用離線方式對原始數據進行數據預處理，通過數據分層思想構建粗細粒度不同的數據切面；使用Hbase+Hive構建數據立方體，得到多維多面的數據立方集合體；使用Hbase構建數據列簇信息，每個列簇具有完整的數據分析數據，包含聚合結果數據；基于Hbase寬表和Hive快速獲取所需數據切面，或通過對數據切面的不同組合得到不同緯度的立方體數據，基于傳統的數據倉庫作為存儲，采用數據分層思想將數據以離線方式進行預處理，得到不同數據切面，再根據需求進行相應的組合，從而得到不同緯度的數據立方體。

技術領域

本發明涉及數據處理領域，具體涉及一種基于數倉實現多維立方體數據分析方法。

背景技術

數倉即數據倉庫，數據倉庫之父比爾·恩門（Bill Inmon）在1991年出版的“Building the Data Warehouse”《建立數據倉庫》一書中所提出的定義被廣泛接受，數據倉庫是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，用于支持管理決策。數倉按主題進行組織-面向主題，對原有分散的數據庫數據抽取，清理的基礎上經過系統加工，匯總，整理得到。目前的數據處理大部分都是基于數倉結構實現的，在傳統的數據處理中，一般是面向數據的二維處理，在大數據處理過程中，也就是說在一個大數據處理系統中，一般都只能根據需求得到指向性的數據分析結果，對同一大數據處理系統而言，這個需求是固定的，如果需要改變需求就需要重新編程。很顯然，這就造成了大量繁瑣的工作，同時，由于傳統的數據處理系統得到的是一個二維數據，如果要實現多維數據的分析，就必須建立多個數據庫用于存放不同的分析結果，這就造成了數據存儲冗余。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于數倉實現多維立方體數據分析方法，基于傳統的數據倉庫作為存儲，采用數據分層思想將數據以離線方式進行預處理，得到不同數據切面，再根據需求進行相應的組合，從而得到不同緯度的數據立方體。

本發明的目的是通過以下技術方案來實現的：

一種基于數倉實現多維立方體數據分析方法，該方法步驟如下：

1）基于數據倉庫底層存儲，采用離線方式對原始數據進行數據預處理，通過數據分層思想構建粗細粒度不同的數據切面；

2）使用Hbase+Hive構建數據立方體，得到多維多面的數據立方集合體；

3）使用Hbase構建數據列簇信息，每個列簇具有完整的數據分析數據，包含聚合結果數據；

4）基于Hbase寬表和Hive快速獲取所需數據切面，或通過對數據切面的不同組合得到不同緯度的立方體數據。

進一步的，所述數據預處理的方式包括腳本、大數據分析和AI算法。

進一步的，所述腳本、大數據分析和AI算法采用多線程方式同時進行。

進一步的，所述原始數據包含了不同數據元。

進一步的，所述數據元根據數據項使用Hive構建數據元信息，也就是本發明可以通過Hive構建新型的數據元信息，也就是可以直接寫入數據類型，相較于傳統的數據庫只能分析單一數據類型相比，本發明具有分析不同數據類型的技術進步。

進一步的，所述4）中對數據切畫的組合包括至少兩個數據切面組合。

進一步的，所述數據切面是指包括兩個數據緯度處理得到的數據。

進一步的，所述多維多面的數據立方集合體存儲在數據倉庫底層。