[發(fā)明專利]一種多維數(shù)據(jù)立方體生成方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011016340.5
• 申請日: 2020-09-24
• 公開（公告）號: CN112162971B
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計）人: 翟小青;王永進;湯國強;華含青;孫遷
• 申請（專利權(quán)）人: 蘇寧云計算有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2455;G06F16/27
• 代理公司: 北京市萬慧達律師事務(wù)所 11111
• 代理人: 趙然

本發(fā)明公開了一種多維數(shù)據(jù)立方體生成方法、裝置及系統(tǒng)。所述方法包括：采集分析引擎中的查詢數(shù)據(jù)，包括：查詢涉及到的模型信息、維度信息、度量信息、時間粒度；對所述查詢數(shù)據(jù)進行統(tǒng)計分析，確定多維數(shù)據(jù)立方體的構(gòu)建信息，包括：推薦模型、推薦維度組合、推薦度量、推薦時間粒度；根據(jù)所述構(gòu)建信息構(gòu)建多維數(shù)據(jù)立方體。本發(fā)明公開的技術(shù)方案實現(xiàn)了Cube的自動生成，解決了人工自主創(chuàng)建Cube可能存在的維度缺失、時間粒度不對應(yīng)，Cube命中率低的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種多維數(shù)據(jù)立方體生成方法、裝置及系統(tǒng)。

背景技術(shù)

多維數(shù)據(jù)立方體(Cube)是為了滿足用戶從多角度多層次進行數(shù)據(jù)查詢和分析的需要，而建立起來的基于事實和維的數(shù)據(jù)集合，一般情況下是同一業(yè)務(wù)主題的數(shù)據(jù)集合。現(xiàn)有技術(shù)中，Cube主要用于聯(lián)機分析引擎(OLAP)中的數(shù)據(jù)處理，其通過預(yù)計算技術(shù)把索引及結(jié)果存儲起來，以實現(xiàn)查詢時的高性能。現(xiàn)有技術(shù)中，由于OLAP引擎沒有Cube的管理能力，因此在實際使用時，Cube中的維度組合需要人工輸入或者報表輸入作為條件，然而上述方式是技術(shù)人員根據(jù)各種業(yè)務(wù)場景需求自行設(shè)定的，如果直接將通過上述方式產(chǎn)生的Cube應(yīng)用到OLAP引擎中，則會存在以下問題：

1、用戶自主創(chuàng)建的Cube質(zhì)量不高，存在維度缺失，時間粒度不對應(yīng)，Cube命中率低；

2、用戶自主創(chuàng)建的Cube通用性不夠，導致部分Cube調(diào)用率低；

3、由于沒有完整的Cube構(gòu)建流程，無法對用戶自主創(chuàng)建的Cube進行調(diào)度和補數(shù)。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的問題，本發(fā)明實施例提供了多維數(shù)據(jù)立方體生成方法、裝置及系統(tǒng)。所述技術(shù)方案如下：

第一方面，提供了一種多維數(shù)據(jù)立方體生成方法，所述方法包括：

采集分析引擎中的查詢數(shù)據(jù)，包括：查詢涉及到的模型信息、維度信息、度量信息、時間粒度；

對所述查詢數(shù)據(jù)進行統(tǒng)計分析，確定多維數(shù)據(jù)立方體的構(gòu)建信息，包括：推薦模型、推薦維度組合、推薦度量、推薦時間粒度；

根據(jù)所述構(gòu)建信息構(gòu)建多維數(shù)據(jù)立方體。

進一步地，所述對所述查詢數(shù)據(jù)進行統(tǒng)計分析，確定多維數(shù)據(jù)立方體的構(gòu)建信息，包括：

根據(jù)所述查詢涉及到的模型信息，統(tǒng)計預(yù)設(shè)期間內(nèi)的模型調(diào)用量，確定滿足模型調(diào)用量條件的模型為所述推薦模型；

根據(jù)所述查詢涉及到的維度信息，統(tǒng)計預(yù)設(shè)期間內(nèi)所述推薦模型中的維度組合調(diào)用量，以及維度組合響應(yīng)時間，確定滿足維度調(diào)用量條件以及響應(yīng)時間條件的維度組合為所述推薦維度組合；

確定所述推薦維度組合對應(yīng)的時間粒度為所述推薦時間粒度；

確定模型中的度量字段為推薦度量。

進一步地，所述根據(jù)所述構(gòu)建信息構(gòu)建多維度數(shù)據(jù)立方體，包括：

根據(jù)所述構(gòu)建信息調(diào)用所述分析引擎，確定所述多維數(shù)據(jù)立方體在所述分析引擎中的存儲信息、創(chuàng)建接口，以完成所述多維數(shù)據(jù)立方體的創(chuàng)建。

進一步地，確定所述推薦維度組合，還包括：維度組合優(yōu)化：

根據(jù)所述推薦維度組合的數(shù)量，采用維度組合結(jié)合的方式拓展所述推薦維度組合；和/或，

根據(jù)維表補充所述推薦維度組合。

進一步地，確定所述構(gòu)建信息，還包括：

計算所述構(gòu)建信息的收益值，所述收益值為所述推薦維度組合能夠覆蓋的各優(yōu)化之前的維度組合的調(diào)用量和平均響應(yīng)時間的乘積之和。