[發(fā)明專利]數(shù)據(jù)分析方法、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811276161.8
• 申請(qǐng)日: 2018-10-30
• 公開(kāi)（公告）號(hào): CN109471874A
• 公開(kāi)（公告）日: 2019-03-15
• 發(fā)明（設(shè)計(jì)）人: 王燁嵩
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F16/2453
• 分類號(hào): G06F16/2453;G06F16/22;G06F16/28
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11363
• 代理人: 逯長(zhǎng)明;許偉群

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)分析方法、設(shè)備和介質(zhì)。該方法包括:從收到的查詢請(qǐng)求中解析得到多個(gè)分析維成員以及多個(gè)分析維成員之間的運(yùn)算關(guān)系；根據(jù)運(yùn)算關(guān)系對(duì)多個(gè)位圖塊計(jì)算，得到針對(duì)目標(biāo)維成員的計(jì)算結(jié)果。其中，多個(gè)位圖塊與解析得到的多個(gè)分析維成員分別對(duì)應(yīng)，位圖塊中的每一個(gè)指示位與目標(biāo)維度的每一個(gè)目標(biāo)維成員一一對(duì)應(yīng)，所述指示位的取值用于指示目標(biāo)維成員對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)中是否包含所述位圖塊對(duì)應(yīng)的分析維成員。采用上述技術(shù)方案中的方法，在解析得到多個(gè)分析維成員之后，查找到多個(gè)分析維成員各自對(duì)應(yīng)的多個(gè)位圖塊所耗費(fèi)的時(shí)間更短，從而縮短了OLAP服務(wù)器響應(yīng)查詢請(qǐng)求的時(shí)間。

技術(shù)領(lǐng)域

本申請(qǐng)涉及聯(lián)機(jī)實(shí)時(shí)分析技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)分析方法、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在大數(shù)據(jù)時(shí)代，單張表的數(shù)據(jù)量都是以十億級(jí)、百億級(jí)甚至兆級(jí)計(jì)。傳統(tǒng)數(shù)據(jù)庫(kù)基于關(guān)系模型，通過(guò)多張能互相聯(lián)接的二維行列表格來(lái)組織數(shù)據(jù)，故而當(dāng)數(shù)據(jù)量非常巨大時(shí)，利用結(jié)構(gòu)化查詢語(yǔ)言(Structured Query Language，SQL)來(lái)訪問(wèn)存儲(chǔ)有海量數(shù)據(jù)的傳統(tǒng)數(shù)據(jù)庫(kù)，傳統(tǒng)數(shù)據(jù)庫(kù)無(wú)法秒級(jí)響應(yīng)用戶的查詢請(qǐng)求，往往需要數(shù)分鐘甚至更長(zhǎng)的響應(yīng)時(shí)間。

相比于關(guān)系模型，多維數(shù)據(jù)模型賦予了數(shù)據(jù)新的組織和存儲(chǔ)形式，滿足用戶從多角度、多層次作數(shù)據(jù)查詢和分析的需要。多維數(shù)據(jù)模型包括至少一個(gè)維度(Dimension)，每個(gè)維度包括至少一個(gè)維成員(Member)。多維數(shù)據(jù)模型基本的應(yīng)用是為了實(shí)現(xiàn)聯(lián)機(jī)實(shí)時(shí)分析(Online Analytical Processing,OLAP)。

OLAP技術(shù)在多維數(shù)據(jù)模型的基礎(chǔ)上實(shí)現(xiàn)面向分析的各類操作，使用戶可以從不同角度觀察數(shù)據(jù)，同時(shí)能夠在數(shù)秒內(nèi)快速響應(yīng)用戶的查詢請(qǐng)求。多維聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(Multi-dimensional OLAP，MOLAP)是OLAP的經(jīng)典使用模式之一，代表有麒麟(kylin)系統(tǒng)等。MOLAP利用多維數(shù)據(jù)模型對(duì)原始數(shù)據(jù)作預(yù)加工，將預(yù)加工的結(jié)果存儲(chǔ)為數(shù)據(jù)立方(cube)，以便能夠秒級(jí)響應(yīng)用戶的查詢請(qǐng)求。

具體地，在預(yù)加工時(shí)，首先，針對(duì)采用多維數(shù)據(jù)模型存儲(chǔ)的數(shù)據(jù)中的n個(gè)維度，將這n個(gè)維度進(jìn)行組合；然后，針對(duì)每一種維度組合方式，列出該維度組合方式下所有的維成員組合方式；再根據(jù)指標(biāo)對(duì)數(shù)據(jù)作計(jì)算，例如去重計(jì)算、去重計(jì)數(shù)計(jì)算等，得到與每一種維成員組合方式對(duì)應(yīng)的計(jì)算結(jié)果。將一種維度組合方式下所有的計(jì)算結(jié)果存儲(chǔ)為一個(gè)數(shù)據(jù)長(zhǎng)方體(cuboid)；所有的cuboid就構(gòu)成了一個(gè)cube。由于OLAP技術(shù)分析的數(shù)據(jù)量往往非常大，因而整個(gè)cube所占用的物理存儲(chǔ)空間很大，需要單獨(dú)被存儲(chǔ)在存儲(chǔ)系統(tǒng)(例如，hbase系統(tǒng)等)中。在查詢時(shí)，在獲取用戶輸入的查詢請(qǐng)求之后，在存儲(chǔ)系統(tǒng)中根據(jù)查詢請(qǐng)求從匹配的cuboid中查找對(duì)應(yīng)的計(jì)算結(jié)果，再?gòu)拇鎯?chǔ)系統(tǒng)中獲取對(duì)應(yīng)計(jì)算結(jié)果，最后反饋給用戶，從而完成一次查詢請(qǐng)求的響應(yīng)工作。在獲取用戶的查詢請(qǐng)求之前，cube已經(jīng)構(gòu)建好，通過(guò)這種以空間換取時(shí)間的方式，可以秒級(jí)響應(yīng)查詢請(qǐng)求。

在利用OLAP技術(shù)作查詢的過(guò)程中，發(fā)明人發(fā)現(xiàn)其至少存在以下問(wèn)題：當(dāng)維度或部分維度的維成員數(shù)量較多時(shí)，查詢請(qǐng)求的響應(yīng)時(shí)間較長(zhǎng)。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)分析方法、設(shè)備和介質(zhì)，用于縮短查詢請(qǐng)求的響應(yīng)時(shí)間。

第一方面，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)分析方法，包括:

從收到的查詢請(qǐng)求中解析得到多個(gè)分析維成員以及所述多個(gè)分析維成員之間的運(yùn)算關(guān)系；其中，所述分析維成員是其對(duì)應(yīng)的分析維度的維成員，所述分析維度是多維數(shù)據(jù)模型中除目標(biāo)維度之外的維度，所述多維數(shù)據(jù)模型包括至少兩個(gè)分析維度，在采用所述多維數(shù)據(jù)模型存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)中，每一條所述結(jié)構(gòu)化數(shù)據(jù)包括一個(gè)目標(biāo)維成員和至少兩個(gè)分析維成員；