[發明專利]一種優化維度組合的多維分析方法和系統

在審

• 申請號: 202210483036.4
• 申請日: 2022-05-05
• 公開（公告）號: CN114880343A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 潘志威;李玉濤;魏曉飛;張楠;李宏鵬;栗濛;李飛;張韶
• 申請（專利權）人: 河鋼數字技術股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455;G06F16/27;G06F9/54
• 代理公司: 石家莊知住優創知識產權代理事務所(普通合伙) 13131
• 代理人: 王麗巧

本發明公開了一種優化維度組合的多維分析方法和系統，涉及多維數據分析技術領域。該優化維度組合的多維分析方法和系統，數據源模塊支持導入Hive數據和Kafka消息隊列，并對外提供Restful風格的接口方便調用；構建預處理cube模塊時，提供可視化的客戶端界面，用戶可以自行選擇維度、度量來構建符合自身需求；構建cube中提供了高級可選項，其中包含衍生維度的選擇，聚合組的添加，必須維度的確定，層級制度及聯合維度的設定；計算模塊中提供MapReduce計算引擎和Spark計算引擎靈活處理不同情況。

技術領域

本發明涉及多維數據分析技術領域，具體為一種優化維度組合的多維分析方法和系統。

背景技術

現有技術中，大數據行業發展如火如荼，對于任何一家涉及大數據領域的互聯網公司，都需要解決數據指數級增長所帶來的的數據查詢問題。

現有的預計算處理方法包括：導入數據源，構建數據模型，定義預計算所需要的維度和度量；預計算cube，計算所有的cuboid并將其保存為物化視圖；在執行查詢時，讀取相應的cuboid，對其進行進一步的聚合計算，從而得到查詢的結果。其中對于每一種維度的組合，將其度量根據設置的度量函數做聚合計算，得到的結果保存為物化視圖，稱為一個cuboid。將所有維度組合的cuboid作為一個整體稱為cube。

針對構建cube預計算的處理流程，存在以下問題：

沒有采取任何優化措施的情況下，Kylin會對每一種維度的組合進行聚合預計算，每一種維度組合的預計算結果稱為一個cuboid，假設有n個維度，那么cuboid的數量便是個。當維度增加時，cuboid的個數也是呈指數增加，這樣僅是cuboid的數量之大就已經形成了對構建引擎、存儲引擎方面的巨大壓力。在形成的所有cuboid中，并非所有的維度組合都是有效的，有些維度組合不符合實際情況，在現實生活中根本不會出現。構建cube的過程中，對于維度的重要性并沒有進行區分，在實際生活中，每個數據分析師對于數據分析的角度都是不同的，而對于不經常用或者很少用的維度組合沒有做相應處理，這樣可能會導致計算了許多無用或作用很小的cuboid。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種優化維度組合的多維分析方法和系統，解決了上述背景技術提到的問題。

(二)技術方案

為實現以上目的，本發明通過以下技術方案予以實現：一種優化維度組合的多維分析方法，所述多維分析方法包括以下步驟：

S1：使用Kylin OLAP引擎從數據源同步表元數據；

S2：使用Kylin OLAP引擎，根據表元數據設計數據模型，用于多維分析；

S3：使用Kylin OLAP引擎，基于數據模型，進一步選取業務所要分析的指標和影響這些指標的維度并設置分析指標的度量函數定義元數據，所述分析的指標稱為度量，所述元數據稱為cube元數據；

S4：使用計算引擎，根據S3訴述的cube元數據，計算所有的維度組合，所述維度組合是一個個結果集，每個結果集包含多行數據，每行數據是當前維度組合下分析指標根據度量函數計算得到的數值結果；

S5：統計各個維度組合的行數。并分析計算各個維度組合對整個多維分析的效益比，從中優化剔除不必要的維度組合；

S6：根據S5所述的剔除后的維度組合結果由存儲引擎存儲；

S7：寫SQL通過查詢引擎對維度組合結果進行簡單聚合得到結果并返回。

可選的，所述數據源包括：Hive數據源、Kafka數據源。