[發(fā)明專利]一種數(shù)據(jù)查詢方法、裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210202237.2
• 申請日: 2022-03-03
• 公開（公告）號: CN114780570A
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計）人: 姜婧妍;張雪巖;位凱志;古亮
• 申請（專利權(quán)）人: 深信服科技股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/28
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 鐘舒婷;張穎玲

本申請實施例提出了一種數(shù)據(jù)查詢方法、裝置、電子設(shè)備和計算機存儲介質(zhì)，該方法包括：根據(jù)用戶的歷史查詢數(shù)據(jù)，構(gòu)建多個星型模型；基于多個星型模型中每個星型模型的維度表和事實表，確定需要計算基數(shù)的列的基數(shù)；基于目標基數(shù)，對數(shù)據(jù)立方體Cube的預(yù)計算結(jié)果進行剪枝；利用剪枝后的預(yù)計算結(jié)果，實現(xiàn)業(yè)務(wù)數(shù)據(jù)的查詢；目標基數(shù)包括需要計算基數(shù)的列的基數(shù)。本申請實施例在減小基數(shù)計算次數(shù)和時間的同時，利用基數(shù)對Cube進行剪枝處理，可以提高查詢效率。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)倉庫技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)查詢方法、裝置、電子設(shè)備和計算機存儲介質(zhì)。

背景技術(shù)

在大數(shù)據(jù)多維分析場景中，數(shù)據(jù)規(guī)模往往在千億甚至萬億級別，且維度數(shù)量過多、維度基數(shù)超大，存在維度爆炸的隱患。如果依然對所有維度組合的情況進行預(yù)計算，一定會導(dǎo)致預(yù)計算時間過長、結(jié)果數(shù)據(jù)量過大，這一方面增加了預(yù)計算和存儲成本，另一方面也給大量預(yù)計算結(jié)果的掃描帶來了挑戰(zhàn)。

針對這個挑戰(zhàn)，需要幫助用戶更加合理的設(shè)計數(shù)據(jù)立方體Cube，即通過對用戶查詢歷史進行解析，來優(yōu)化Cube設(shè)計，通過設(shè)置聚合組并對維度進行分類，這樣就能避免大量的維度組合，卻又不影響用戶的查詢速度，而基數(shù)則是用于對維度分類的重要特征。

相關(guān)技術(shù)中，大多使用MapReduce結(jié)合抽樣計算的方法來估計基數(shù)，然而這種方法計算速度較慢，影響用戶的查詢效率，在實際應(yīng)用場景中會對用戶使用體驗造成極大的影響；因而，需要一種能夠快速確定基數(shù)以提高數(shù)據(jù)查詢效率的方法。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N數(shù)據(jù)查詢方法、裝置、電子設(shè)備和計算機存儲介質(zhì)。

本申請的技術(shù)方案是這樣實現(xiàn)的：

本申請實施例提供了一種數(shù)據(jù)查詢方法，所述方法包括：

根據(jù)用戶的歷史查詢數(shù)據(jù)，構(gòu)建多個星型模型；所述歷史查詢數(shù)據(jù)表示在歷史時間段內(nèi)對數(shù)據(jù)倉庫進行聚合查詢得到的數(shù)據(jù)；

基于所述多個星型模型中每個星型模型的維度表和事實表，確定需要計算基數(shù)的列的基數(shù)；

基于目標基數(shù)，對Cube的預(yù)計算結(jié)果進行剪枝；利用剪枝后的預(yù)計算結(jié)果，實現(xiàn)業(yè)務(wù)數(shù)據(jù)的查詢；所述目標基數(shù)包括所述需要計算基數(shù)的列的基數(shù)。

在一些實施例中，所述基于所述多個星型模型中每個星型模型的維度表和事實表，確定需要計算基數(shù)的列的基數(shù)，包括：

基于所述多個星型模型中每個星型模型的維度表和事實表，提取所述需要計算基數(shù)的列；

在確定所述需要計算基數(shù)的列為第一雙列時，確定所述第一雙列是否滿足替換條件；

確定滿足，對所述第一雙列進行替換，得到第二雙列；利用所述第二雙列，確定所述第一雙列的基數(shù)；確定不滿足，計算所述第一雙列的基數(shù)。

在一些實施例中，所述方法還包括：

在確定所述需要計算基數(shù)的列為單列，且位于事實表中時，限制所述事實表長度為設(shè)定長度后，計算所述單列的基數(shù)。

在一些實施例中，所述確定所述第一雙列是否滿足替換條件，包括：

通過判斷所述第一雙列中每列對應(yīng)的表的類型以及所述第一雙列中其中一列是否為維度表的主鍵，確定所述第一雙列是否滿足替換條件。

在一些實施例中，所述通過判斷所述第一雙列中每列對應(yīng)的表的類型以及所述第一雙列中其中一列是否為維度表的主鍵，確定所述第一雙列是否滿足替換條件，包括：

在確定所述第一雙列位于同一維度表，且所述第一雙列中其中一列為所述維度表的主鍵時，確定所述第一雙列滿足替換條件；

所述對所述第一雙列進行替換，得到第二雙列，包括：