[發(fā)明專利]一種基于圖計(jì)算的實(shí)時(shí)聯(lián)機(jī)數(shù)據(jù)分析處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010650317.5
• 申請(qǐng)日: 2020-07-08
• 公開（公告）號(hào): CN111930857A
• 公開（公告）日: 2020-11-13
• 發(fā)明（設(shè)計(jì)）人: 冷友方;張喜來(lái);田波
• 申請(qǐng)（專利權(quán)）人: 成都雙鏈科技有限責(zé)任公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28
• 代理公司: 成都蓉創(chuàng)智匯知識(shí)產(chǎn)權(quán)代理有限公司 51276
• 代理人: 譚新民

本發(fā)明公開了一種基于圖計(jì)算的實(shí)時(shí)聯(lián)機(jī)數(shù)據(jù)分析處理方法，包括OLTP業(yè)務(wù)系統(tǒng)，所述OLTP業(yè)務(wù)系統(tǒng)中包含界面層、應(yīng)用層及數(shù)據(jù)庫(kù)層，所述數(shù)據(jù)庫(kù)層由業(yè)務(wù)數(shù)據(jù)庫(kù)組成，所述業(yè)務(wù)數(shù)據(jù)庫(kù)中包含業(yè)務(wù)數(shù)據(jù)，所述業(yè)務(wù)數(shù)據(jù)包括維度數(shù)據(jù)及與維度數(shù)據(jù)對(duì)應(yīng)的事實(shí)數(shù)據(jù)，其特征在于，所述處理方法包括如下步驟：S1、數(shù)據(jù)梳理；S2、建立圖數(shù)據(jù)庫(kù)；S3、部署業(yè)務(wù)數(shù)據(jù)變化感知組件；S4、建立GOLAP事務(wù)處理引擎及GOLAP分析引擎；S5、變化業(yè)務(wù)數(shù)據(jù)處理；S6、建立Key?value數(shù)據(jù)庫(kù)；S7、Key?value數(shù)據(jù)庫(kù)數(shù)據(jù)輸入。本發(fā)明采用上述結(jié)構(gòu)，能夠應(yīng)對(duì)提高OLAP在線分析系統(tǒng)的響應(yīng)時(shí)間，節(jié)約存儲(chǔ)空間，保證數(shù)據(jù)分析的實(shí)時(shí)性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體是一種基于圖計(jì)算的實(shí)時(shí)聯(lián)機(jī)數(shù)據(jù)分析處理方法。

背景技術(shù)

聯(lián)機(jī)分析處理(OLAP)系統(tǒng)是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)最主要的應(yīng)用，專門設(shè)計(jì)用于支持復(fù)雜的分析操作，側(cè)重對(duì)決策人員和高層管理人員的決策支持，可以根據(jù)分析人員的要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀而易懂的形式將查詢結(jié)果提供給決策人員，以便他們準(zhǔn)確掌握企業(yè)的經(jīng)營(yíng)狀況，了解對(duì)象的需求，制定正確的方案。

OLAP按照物理模型可以分為ROLAP、MOLAP和HOLAP三種類型。ROLAP (RelationalOLAP，即：關(guān)系型OLAP)將多維的邏輯模型存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中； MOLAP(Multi-dimensional OLAP，即：多維OLAP)在組織數(shù)據(jù)時(shí)，將數(shù)據(jù)存儲(chǔ)在多維數(shù)組中；HOLAP(HybridOLAP，即：混合型OLAP)混合了ROLAP和MOLAP 的方法，它允許模型設(shè)計(jì)者決定哪些數(shù)據(jù)存儲(chǔ)在MOLAP中，哪些數(shù)據(jù)存儲(chǔ)在ROLAP 中。

現(xiàn)有的OLAP系統(tǒng)存在如下問(wèn)題：1、實(shí)時(shí)性問(wèn)題，為了不影響業(yè)務(wù)系統(tǒng)的正常運(yùn)行，現(xiàn)有的OLAP系統(tǒng)需要通過(guò)一定的數(shù)據(jù)同步策略來(lái)把業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)同步到數(shù)據(jù)倉(cāng)庫(kù)中以供OLAP系統(tǒng)進(jìn)行分析處理，常用的同步策略有定時(shí)同步和定量同步兩種，這兩種方式都會(huì)引起數(shù)據(jù)延時(shí)性問(wèn)題，分析者看到的分析結(jié)果是一天前的數(shù)據(jù)(按天同步)或幾小時(shí)前的數(shù)據(jù)(按日志量同步)；2、性能問(wèn)題， ROLAP系統(tǒng)在用戶提交分析請(qǐng)求后，進(jìn)行大量的表連接和聚合操作之后，才把分析結(jié)果返回給用戶，這些連接和聚合操作會(huì)引發(fā)大量的CPU和IO開銷，導(dǎo)致延遲過(guò)大，從而降低用戶的體驗(yàn)度；3、數(shù)據(jù)稀疏性問(wèn)題，MOLAP中使用多維數(shù)組來(lái)存儲(chǔ)所有的維度數(shù)據(jù)，當(dāng)初使化時(shí)，會(huì)建立一個(gè)全維度的數(shù)組，當(dāng)事務(wù)發(fā)生時(shí)，統(tǒng)計(jì)出相關(guān)指標(biāo)并保存在相應(yīng)的數(shù)據(jù)單元中，而其它單元仍然需要初使化，這就導(dǎo)致這個(gè)大而全的多維數(shù)組中，存在大量的稀疏數(shù)據(jù)，尤其是當(dāng)維度過(guò)大時(shí)容易引起維度爆炸問(wèn)題。

發(fā)明內(nèi)容

為了解決上述背景中的問(wèn)題，本發(fā)明提供了一種基于圖計(jì)算的實(shí)時(shí)聯(lián)機(jī)數(shù)據(jù)分析處理方法。

本發(fā)明解決上述問(wèn)題所采用的技術(shù)方案是：

一種基于圖計(jì)算的實(shí)時(shí)聯(lián)機(jī)數(shù)據(jù)分析處理方法，包括如下步驟：

S1、維度獲取，梳理業(yè)務(wù)數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù)得到維度分類；

S2、建立圖數(shù)據(jù)庫(kù)，根據(jù)步驟S1中的維度分類建立圖數(shù)據(jù)庫(kù)并初始化圖數(shù)據(jù)庫(kù)中各維度的關(guān)系；

S3、數(shù)據(jù)監(jiān)控，對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控得到實(shí)時(shí)數(shù)據(jù)；

S4、數(shù)據(jù)輸入，將步驟S3中的實(shí)時(shí)數(shù)據(jù)輸入到圖數(shù)據(jù)庫(kù)相應(yīng)的節(jié)點(diǎn)上；

S5、預(yù)計(jì)算，對(duì)節(jié)點(diǎn)上實(shí)時(shí)數(shù)據(jù)的相關(guān)值進(jìn)行相應(yīng)的預(yù)計(jì)算得到計(jì)算值；

S6、數(shù)據(jù)存儲(chǔ)，存儲(chǔ)步驟S5得到的計(jì)算值及與計(jì)算值相對(duì)應(yīng)的維度。