[發明專利]基于Kylin OLAP的多維數據分析方法及系統

在審

• 申請號: 202110657031.4
• 申請日: 2021-06-11
• 公開（公告）號: CN113360472A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 張文霖;方春蓉;何怡靜;曾東將;張寶光;楊克偉
• 申請（專利權）人: 杭州東方通信軟件技術有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/2455;G06F16/2458;G06F16/248;G06F16/28
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽

1.一種基于Kylin OLAP的多維數據分析方法，其特征在于，包括：

定期從相關數據庫中采集數據集寫入HDFS文件系統中；

通過Kylin多維引擎獲取hadoop集群的數據倉庫中的數據表的結構信息，并根據所述結構信息配置生成多個多維立方體；

通過Kylin多維引擎同步HDFS文件系統中的數據集，并根據所述數據集和所述多維立方體構建生成多個立方體段存儲在Hbase數據庫中；所述立方體段是指維度不同的數據組合后生成的一個數據結果集；

響應于用戶從可視化的客戶端界面輸入的查詢語句，通過Kylin多維引擎在Hbase數據庫中查找對應的立方體段，并返回所述立方體段中的數據結果。

2.根據權利要求1所述的方法，其特征在于，所述定期從相關數據庫中采集相關數據集寫入到HDFS文件系統中包括：

調用ETL工具KETTLE每天從相關數據庫中采集相關數據集寫入HDFS文件系統中。

3.根據權利要求2所述的方法，其特征在于，在將所述相關數據集寫入到HDFS文件系統前還包括：對采集的相關數據集進行預處理，所述預處理包括：對數據集數據清洗、整合、加載。

4.根據權利要求3所述的方法，其特征在于，在對采集的相關數據集進行預處理前還包括：

從Hadoop的數據倉庫中獲取數據存儲時的數據結構信息，根據所述數據結構信息對采集的數據集進行預處理。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述相關數據庫包括：Oracle數據庫、MYSQL數據庫。

6.根據權利要求1所述的方法，其特征在于，所述通過Kylin多維引擎獲取hadoop集群的數據倉庫中的數據表的結構信息，并根據所述結構信息配置生成多個多維立方體包括：

從Hadoop集群的數據倉庫中獲取目標數據表結構，并根據所述目標數據表結構設置對應的維度表配置信息；

根據所述維度表配置信息生成多個多維立方體，所述多維立方體中包括了目標數據表、維度表以及目標數據表和維度表之間的關系。

7.根據權利要求1所述的方法，其特征在于，所述響應于用戶從可視化的客戶端界面輸入的查詢語句，通過Kylin多維引擎在Hbase數據庫中查找對應的立方體段，并返回所述立方體段中的數據結果包括：

響應于用戶從saiku Web客戶端界面可視化拉取需要的數據條件構建成相關的查詢語句，調用Kylin多維引擎在Hbase數據庫中查找對應的立方體段，并返回立方體段中的數據結果。

8.根據權利1所述的方法，其特征在于，所述響應于用戶從可視化的客戶端界面輸入的查詢語句，通過Kylin多維引擎在Hbase數據庫中查找對應的立方體段，并返回所述立方體段中的數據結果包括：

根據用戶輸入的查詢語句，確定用戶需要查詢的數據維度；

根據所述數據維度在Hbase中查找所述數據維度對應的立方體段，并返回立方體段中的數據結果。

9.一種基于Kylin OLAP的多維數據分析系統，其特征在于，包括：

采集單元，定期調用ETL工具KETTLE從相關數據庫中采集數據集寫入HDFS文件系統中；

數據處理單元，用于通過Kylin多維引擎獲取hadoop集群的數據倉庫中的數據表的結構信息，并根據所述結構信息配置生成多個多維立方體；以及通過Kylin多維引擎同步HDFS文件系統中的數據集，并根據所述數據集和所述多維立方體構建生成多個立方體段存儲在Hbase數據庫中；所述立方體段是指維度不同的數據組合后生成的一個數據結果集；

查詢單元，響應于用戶從可視化的客戶端界面輸入的查詢語句，通過Kylin多維引擎在Hbase數據庫中查找對應的立方體段，并返回所述立方體段中的數據結果。