[發(fā)明專利]一種新型的OLAP預計算模型及構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 201711487497.4
• 申請日: 2017-12-29
• 公開（公告）號: CN108334554B
• 公開（公告）日: 2021-10-01
• 發(fā)明（設(shè)計）人: 王成;李揚;韓卿
• 申請（專利權(quán)）人: 上海跬智信息技術(shù)有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/28
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立;王丹

本發(fā)明涉及一種新型的OLAP預計算模型及構(gòu)建方法，該新型的OLAP預計算模型包括：查詢引擎、SQL轉(zhuǎn)換器、維度組合存儲器；還涉及一種構(gòu)建方法，該構(gòu)建方法包括：獲取SQL查詢語句；將SQL查詢語句解析成相應的維度組合；查詢已構(gòu)建完成的維度組合里是否存在當前的維度組合；當不存在時，記錄相應的維度組合信息到維度組合存儲器里；形成一個離散維度組合的集合，根據(jù)離散維度組合之間的相關(guān)性，逐層構(gòu)建出每個維度組合。通過本發(fā)明的模型，在維度組合存儲器中可以不斷地更新維度組合，使得該模型不但支持時間增量的分段構(gòu)建，也支持維度和度量的增量構(gòu)建，另外該模型也極大地提高了查詢效率，降低了存儲空間，同時也保證了查詢響應速度。

技術(shù)領(lǐng)域

本發(fā)明屬于OLAP大數(shù)據(jù)信息領(lǐng)域，尤其涉及一種新型的OLAP預計算模型及構(gòu)建方法。

背景技術(shù)

傳統(tǒng)OLAP預計算為了滿足可能的查詢場景，Cube構(gòu)建時會盡可能多的包含Cuboids，一般維度數(shù)為N的Cube，其Cuboid的數(shù)量最大為2的N次方，所以當數(shù)據(jù)規(guī)模較大，維度數(shù)量較多，構(gòu)建時會消耗大量的時間、預計算結(jié)果占用大量存儲。雖然可以采用一些手段裁剪一定數(shù)量的Cuboid，但總存在一定數(shù)量的Cuboid，在查詢時幾乎用不到，導致極大的浪費。另一方面，現(xiàn)有技術(shù)方案的構(gòu)建粒度是以Cube作為基本單位，Cube定義完畢并構(gòu)建完成后其元數(shù)據(jù)是不能修改的，如果僅僅在原Cube基礎(chǔ)上哪怕是添加一個新的維度或者度量就需要完全新建一個Cube并重新構(gòu)建，導致不能利用之前的計算結(jié)果，靈活性不高。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是：現(xiàn)有技術(shù)中構(gòu)建粒度是以Cube作為基本單位，Cube定義完畢并構(gòu)建完成后其元數(shù)據(jù)不能修改，導致不能利用之前的計算結(jié)果，靈活性不高。

為解決上面的技術(shù)問題，本發(fā)明提供了一種新型的OLAP預計算模型，

該新型的OLAP預計算模型包括：查詢引擎、SQL轉(zhuǎn)換器、維度組合存儲器；

所述SQL轉(zhuǎn)換器，用于將輸入的SQL查詢語句轉(zhuǎn)換成相應的維度組合；

所述查詢引擎，用于根據(jù)所述相應的維度組合，查詢所述維度組合存儲器中已構(gòu)建完成的多組維度組合里是否存在與所述SQL查詢語句匹配的維度組合；

所述查詢引擎，還用于當不存在匹配的維度組合時，記錄所述相應的維度組合信息，并將所述相應的維度組合信息發(fā)送給所述維度組合存儲器；

所述維度組合存儲器，用于根據(jù)離散維度組合之間的相關(guān)性和所述相應的維度組合信息，構(gòu)建出所述匹配的維度組合，并將匹配的維度組合和所述已構(gòu)建完成的多組維度組合逐層形成新的拓撲層級結(jié)構(gòu)。

本發(fā)明的有益效果：通過上述的模型，在維度組合存儲器中可以不斷地更新維度組合，使得該模型不但支持時間增量的分段構(gòu)建，也支持維度和度量的增量構(gòu)建，另外該模型也極大地提高了查詢效率，降低了存儲空間，同時也保證了查詢響應速度。

進一步地，所述維度組合存儲器，還用于當不存在與所述SQL查詢語句匹配的維度組合時，直接從源數(shù)據(jù)中查詢出結(jié)果。

進一步地，所述維度組合存儲器包括：已構(gòu)建完成的多組維度組合，其中部分的維度組合是通過采用MapRecuce計算框架構(gòu)建成具有拓撲層級結(jié)構(gòu)的維度組合，剩余部分的維度組合是相互離散的且不具備拓撲層級結(jié)構(gòu)的維度組合。

進一步地，所述具有拓撲層級結(jié)構(gòu)的維度組合中下層的維度組合的預計算結(jié)果是通過將上層的維度組合的預計算結(jié)果進行聚合計算得到的。

進一步地，所述維度組合存儲器，具體用于根據(jù)離散維度組合之間的相關(guān)性和所述相應的維度組合信息，構(gòu)建因維度或者度量增量而形成的新的維度組合，將所述新的維度組合與其所述已構(gòu)建完成的多組維度組中的維度組合共同合并成所述匹配的維度組合。

本發(fā)明還涉及一種新型的OLAP預計算模型的構(gòu)建方法，該構(gòu)建方法包括：