[發(fā)明專利]一種數(shù)據(jù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201310399960.5
• 申請(qǐng)日: 2013-09-05
• 公開（公告）號(hào): CN103440333A
• 公開（公告）日: 2013-12-11
• 發(fā)明（設(shè)計(jì)）人: 鄧兵野;毛雪松;王盈利
• 申請(qǐng)（專利權(quán)）人: 深圳好視網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 廣州三環(huán)專利代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

技術(shù)領(lǐng)域

本發(fā)明涉及電子技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)

隨著數(shù)據(jù)量的迅速增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)庫(kù)分析技術(shù)已經(jīng)無(wú)法滿足海量數(shù)據(jù)分析的需求，現(xiàn)有技術(shù)通常采用集群處理與報(bào)表引擎的方式實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)分析處理與輸出。

集群處理方式在處理海量數(shù)據(jù)時(shí)通常需要多臺(tái)服務(wù)器進(jìn)行實(shí)時(shí)聯(lián)機(jī)計(jì)算，當(dāng)其中一臺(tái)服務(wù)器出現(xiàn)故障時(shí)，單臺(tái)服務(wù)器節(jié)點(diǎn)響應(yīng)中斷會(huì)影響其他節(jié)點(diǎn)的數(shù)據(jù)處理，影響數(shù)據(jù)處理與報(bào)表引擎的穩(wěn)定性；此外，集群數(shù)據(jù)處理架構(gòu)的特點(diǎn)導(dǎo)致了現(xiàn)有技術(shù)方法在進(jìn)行報(bào)表查詢時(shí)，響應(yīng)速度和處理速度較慢。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法及裝置，保留海量數(shù)據(jù)處理能力的同時(shí)，提高報(bào)表工作的響應(yīng)速度和穩(wěn)定性。

具體的，本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法，其可包括：

通過(guò)結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表，所述封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，所述結(jié)果數(shù)據(jù)庫(kù)通過(guò)所述定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新；

基于所述數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。

較佳的，通過(guò)結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表之前，包括：

采集待分析數(shù)據(jù)，并儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)，所述數(shù)據(jù)倉(cāng)庫(kù)按照預(yù)設(shè)的數(shù)據(jù)維度儲(chǔ)存所述待分析數(shù)據(jù)；

定時(shí)對(duì)所述數(shù)據(jù)倉(cāng)庫(kù)中所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)；

將所述封裝數(shù)據(jù)更新至所述結(jié)果數(shù)據(jù)庫(kù)并儲(chǔ)存。

較佳的，定時(shí)對(duì)所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)包括：

每經(jīng)過(guò)規(guī)定的時(shí)間間隔時(shí)，生成定向數(shù)據(jù)處理提示消息；

檢測(cè)到所述定向數(shù)據(jù)處理提示消息后，按照所述定向數(shù)據(jù)處理提示消息對(duì)未處理過(guò)的所述待用數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)。

較佳的，所述儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)包括清洗所述待分析數(shù)據(jù)、將所述待分析數(shù)據(jù)分組儲(chǔ)存至所述數(shù)據(jù)倉(cāng)庫(kù)中至少一種。

較佳的，所述定向集群處理是根據(jù)所述所述定向數(shù)據(jù)處理提示消息攜帶指定的數(shù)據(jù)處理方案進(jìn)行處理的，所述數(shù)據(jù)處理方案包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種。

相應(yīng)的，本發(fā)明實(shí)施例還提供一種服務(wù)器，其可包括：

生成模塊，用于通過(guò)結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表，所述封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，所述結(jié)果數(shù)據(jù)庫(kù)通過(guò)所述定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新；

展示模塊，用于基于所述生成模塊生成的所述數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。

較佳的，還包括：

采集與儲(chǔ)存模塊，用于采集待分析數(shù)據(jù)，并儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)，所述數(shù)據(jù)倉(cāng)庫(kù)按照預(yù)設(shè)的數(shù)據(jù)維度儲(chǔ)存所述待分析數(shù)據(jù)；

處理模塊，用于定時(shí)對(duì)所述采集與儲(chǔ)存模塊采集的位于所述數(shù)據(jù)倉(cāng)庫(kù)中的所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)；

更新與儲(chǔ)存模塊，用于將所述處理模塊生成的所述封裝數(shù)據(jù)更新至所述結(jié)果數(shù)據(jù)庫(kù)并儲(chǔ)存。

較佳的，所述處理模塊包括：

提示單元，用于每經(jīng)過(guò)規(guī)定的時(shí)間間隔時(shí)，生成定向數(shù)據(jù)處理提示消息并發(fā)送至定向處理單元；

定向處理單元，用于檢測(cè)到所述提示單元發(fā)送的所述定向數(shù)據(jù)處理提示消息后，按照所述定向數(shù)據(jù)處理提示消息對(duì)未處理過(guò)的所述待用數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)。

較佳的，所述采集與儲(chǔ)存模塊儲(chǔ)存所述待分析數(shù)據(jù)至所述數(shù)據(jù)倉(cāng)庫(kù)包括清洗所述待分析數(shù)據(jù)、將所述待分析數(shù)據(jù)分組儲(chǔ)存至所述數(shù)據(jù)倉(cāng)庫(kù)中至少一種。

較佳的，所述定向集群處理是根據(jù)所述所述定向數(shù)據(jù)處理提示消息攜帶指定的數(shù)據(jù)處理方案進(jìn)行處理的，所述數(shù)據(jù)處理方案包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種。

本發(fā)明實(shí)施例基于集群處理后的結(jié)果數(shù)據(jù)庫(kù)進(jìn)行報(bào)表工作，可使服務(wù)器保留海量數(shù)據(jù)處理能力的同時(shí)，提高報(bào)表工作的響應(yīng)速度和穩(wěn)定性。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單的介紹，顯而易見地，下面描述中的附圖是本發(fā)明實(shí)施例的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明的數(shù)據(jù)處理方法的一實(shí)施例流程示意圖；

圖2為本發(fā)明的服務(wù)器的一實(shí)施例結(jié)構(gòu)組成示意圖；

圖3為本發(fā)明的服務(wù)器的另一實(shí)施例結(jié)構(gòu)組成示意圖；

圖4為本發(fā)明的服務(wù)器的一實(shí)施例流程示意圖；