[發(fā)明專利]基于Kylin OLAP的多維數(shù)據(jù)分析方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110657031.4
• 申請(qǐng)日: 2021-06-11
• 公開（公告）號(hào): CN113360472A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 張文霖;方春蓉;何怡靜;曾東將;張寶光;楊克偉
• 申請(qǐng)（專利權(quán)）人: 杭州東方通信軟件技術(shù)有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/2455;G06F16/2458;G06F16/248;G06F16/28
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽

本發(fā)明提供一種基于Kyl in OLAP的多維數(shù)據(jù)分析處理方法及系統(tǒng)，包括：定期從數(shù)據(jù)庫(kù)中采集數(shù)據(jù)集寫入HDFS文件系統(tǒng)中；獲取hadoop集群的數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)表的結(jié)構(gòu)信息，并根據(jù)該結(jié)構(gòu)信息配置生成多個(gè)多維立方體；通過Kyl in多維引擎同步HDFS文件系統(tǒng)中的數(shù)據(jù)集，并根據(jù)該數(shù)據(jù)集和多維立方體構(gòu)建生成多個(gè)立方體段存儲(chǔ)在Hbase數(shù)據(jù)庫(kù)中；響應(yīng)于用戶輸入的查詢語(yǔ)句，通過Kyl in多維引擎在Hbase數(shù)據(jù)庫(kù)中查找對(duì)應(yīng)的立方體段，并返回該立方體段中的數(shù)據(jù)結(jié)果。基于Kyl in OLAP引擎和Saiku工具實(shí)現(xiàn)了高定制多維數(shù)據(jù)分析報(bào)表，配置數(shù)據(jù)維度后無需人工整合，根據(jù)業(yè)務(wù)需求，自由靈活組合各維度，系統(tǒng)自動(dòng)按并列、級(jí)別等多種組合方式執(zhí)行數(shù)據(jù)調(diào)度、匯聚、計(jì)算和呈現(xiàn)，并支持報(bào)表、圖表等多形式呈現(xiàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及多維數(shù)據(jù)分析領(lǐng)域,尤其涉及一種基于Kylin OLAP的多維數(shù)據(jù)分析方法及系統(tǒng)。

背景技術(shù)

目前，各個(gè)公司在對(duì)集團(tuán)內(nèi)部數(shù)據(jù)進(jìn)行管理時(shí)，需要建設(shè)多個(gè)系統(tǒng)，分別應(yīng)對(duì)不同的業(yè)務(wù)領(lǐng)域的數(shù)據(jù)需求。其中，每一個(gè)領(lǐng)域應(yīng)用需要調(diào)用多個(gè)系統(tǒng)的數(shù)據(jù)進(jìn)行人工整合、統(tǒng)計(jì)和分析?，F(xiàn)有數(shù)據(jù)的整合分析流程如圖1所示，包括：(1)業(yè)務(wù)方提出報(bào)表需求和統(tǒng)計(jì)維度；(2)業(yè)務(wù)方自主登錄或由系統(tǒng)維護(hù)方確認(rèn)報(bào)表需求可行性：涉及系統(tǒng)的數(shù)量、已有數(shù)據(jù)是否支持、是否可通過查詢支撐，并確認(rèn)方案；(3)若系統(tǒng)支持，業(yè)務(wù)方分別登錄各個(gè)系統(tǒng)，按條件查詢獲取數(shù)據(jù)并記錄；若不支持，業(yè)務(wù)方則需向系統(tǒng)方提出定制化需求，由系統(tǒng)方跑數(shù)并整合數(shù)據(jù)；若為常用報(bào)表，定制化開發(fā)為系統(tǒng)功能；(4)數(shù)據(jù)計(jì)算、分析和最終報(bào)表輸出依賴人工操作。

針對(duì)現(xiàn)有技術(shù)的數(shù)據(jù)處理流程，不難發(fā)現(xiàn)其中存在以下問題：

(1)各領(lǐng)域數(shù)據(jù)由多個(gè)系統(tǒng)單獨(dú)管理和維護(hù)，導(dǎo)致集團(tuán)數(shù)據(jù)源分散、數(shù)據(jù)割裂，數(shù)據(jù)整合成本高，數(shù)據(jù)權(quán)限設(shè)置繁瑣、不統(tǒng)一等問題；

(2)各系統(tǒng)數(shù)據(jù)統(tǒng)計(jì)維度，查詢條件、功能固化，數(shù)據(jù)分析和引用難以滿足業(yè)務(wù)多樣化需求，需要把各類需求實(shí)現(xiàn)到系統(tǒng)功能，但這樣也會(huì)導(dǎo)致系統(tǒng)開發(fā)成本高，效率慢，系統(tǒng)的功能結(jié)構(gòu)繁瑣、數(shù)據(jù)冗余；

(3)定制化數(shù)據(jù)提取需求均由平臺(tái)運(yùn)維人員人工執(zhí)行腳本觸發(fā)，增加人工維護(hù)成本且增加了數(shù)據(jù)與需求不一致的風(fēng)險(xiǎn)；

(4)綜合報(bào)表需要業(yè)務(wù)方重復(fù)登錄多個(gè)系統(tǒng)進(jìn)行操作、數(shù)據(jù)記錄和整合，增加人工成本且提高數(shù)據(jù)錯(cuò)誤風(fēng)險(xiǎn)，影響工作效率；

(5)多變的業(yè)務(wù)規(guī)則變更需要修改系統(tǒng)代碼，無法動(dòng)態(tài)調(diào)整，且容易出現(xiàn)漏改、錯(cuò)改、復(fù)工等情況，整體配置不夠靈活；

(6)數(shù)據(jù)查看分散，不利于監(jiān)控?cái)?shù)據(jù)情況和故障分析。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例提供了一種基于Kylin OLAP的多維數(shù)據(jù)分析方法及系統(tǒng)。

第一方面，本申請(qǐng)實(shí)施例提供了一種基于Kylin OLAP的多維數(shù)據(jù)分析方法，包括：

定期從相關(guān)數(shù)據(jù)庫(kù)中采集數(shù)據(jù)集寫入HDFS文件系統(tǒng)中；

通過Kylin多維引擎獲取hadoop集群的數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)表的結(jié)構(gòu)信息，并根據(jù)所述結(jié)構(gòu)信息配置生成多個(gè)多維立方體；

通過Kylin多維引擎同步HDFS文件系統(tǒng)中的數(shù)據(jù)集，并根據(jù)所述數(shù)據(jù)集和所述多維立方體構(gòu)建生成多個(gè)立方體段存儲(chǔ)在Hbase數(shù)據(jù)庫(kù)中；所述立方體段是指維度不同的數(shù)據(jù)組合后生成的一個(gè)數(shù)據(jù)結(jié)果集；

響應(yīng)于用戶從可視化的客戶端界面輸入的查詢語(yǔ)句，通過Kylin多維引擎在Hbase數(shù)據(jù)庫(kù)中查找對(duì)應(yīng)的立方體段，并返回所述立方體段中的數(shù)據(jù)結(jié)果。

可選地，所述定期從相關(guān)數(shù)據(jù)庫(kù)中采集相關(guān)數(shù)據(jù)集寫入到HDFS文件系統(tǒng)中包括：

調(diào)用ETL工具KETTLE每天從相關(guān)數(shù)據(jù)庫(kù)中采集相關(guān)數(shù)據(jù)集寫入HDFS文件系統(tǒng)中。