[發(fā)明專利]數(shù)據(jù)統(tǒng)計(jì)方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710467826.2
• 申請(qǐng)日: 2017-06-19
• 公開（公告）號(hào): CN109145027A
• 公開（公告）日: 2019-01-04
• 發(fā)明（設(shè)計(jì)）人: 范曉亮;余俊
• 申請(qǐng)（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/248
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國(guó)

本發(fā)明公開了一種數(shù)據(jù)統(tǒng)計(jì)方法，該方法包括：獲取待統(tǒng)計(jì)的原始數(shù)據(jù)流；根據(jù)所述原始數(shù)據(jù)流調(diào)用并解析預(yù)設(shè)的數(shù)據(jù)統(tǒng)計(jì)配置文件，得到預(yù)設(shè)類型的待生成統(tǒng)計(jì)報(bào)表的預(yù)處理類信息和統(tǒng)計(jì)條件信息；根據(jù)所述預(yù)處理類信息對(duì)所述原始數(shù)據(jù)流進(jìn)行預(yù)處理，得到對(duì)應(yīng)的統(tǒng)計(jì)元數(shù)據(jù)；根據(jù)所述統(tǒng)計(jì)條件信息對(duì)所述統(tǒng)計(jì)元數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成對(duì)應(yīng)的統(tǒng)計(jì)報(bào)表。本發(fā)明還公開了一種數(shù)據(jù)統(tǒng)計(jì)裝置、設(shè)備和一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明能夠提高基于Spark平臺(tái)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)的代碼靈活性，降低代碼的開發(fā)維護(hù)成本。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及數(shù)據(jù)統(tǒng)計(jì)方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

Spark是一種專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的通用計(jì)算引擎，近年來，隨著大數(shù)據(jù)平臺(tái)Spark系統(tǒng)的出現(xiàn)和逐步發(fā)展成熟，如何在Spark平臺(tái)上實(shí)現(xiàn)各種機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘并行化算法設(shè)計(jì)成為了目前國(guó)內(nèi)外關(guān)注的重點(diǎn)。

目前，在基于Spark平臺(tái)進(jìn)行數(shù)據(jù)分析的時(shí)候，每新增一類業(yè)務(wù)統(tǒng)計(jì)，開發(fā)人員需要重新開發(fā)統(tǒng)計(jì)代碼，需要耗費(fèi)較多的時(shí)間成本和人力成本，而且，業(yè)務(wù)及其統(tǒng)計(jì)規(guī)則的變更會(huì)引起代碼的頻繁修改，導(dǎo)致較高的出錯(cuò)幾率和測(cè)試成本，隨著時(shí)間的變遷和業(yè)務(wù)的頻繁變化，代碼也會(huì)越來越臃腫，導(dǎo)致代碼難于維護(hù)，因而，現(xiàn)有的基于Spark平臺(tái)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)的代碼靈活性還有待提高。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提出一種數(shù)據(jù)統(tǒng)計(jì)方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，旨在提高基于Spark平臺(tái)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)的代碼靈活性，降低代碼的開發(fā)維護(hù)成本。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)統(tǒng)計(jì)方法，所述數(shù)據(jù)統(tǒng)計(jì)方法包括如下步驟：

獲取待統(tǒng)計(jì)的原始數(shù)據(jù)流；

根據(jù)所述原始數(shù)據(jù)流調(diào)用并解析預(yù)設(shè)的數(shù)據(jù)統(tǒng)計(jì)配置文件，得到預(yù)設(shè)類型的待生成統(tǒng)計(jì)報(bào)表的預(yù)處理類信息和統(tǒng)計(jì)條件信息；

根據(jù)所述預(yù)處理類信息對(duì)所述原始數(shù)據(jù)流進(jìn)行預(yù)處理，得到對(duì)應(yīng)的統(tǒng)計(jì)元數(shù)據(jù)；

根據(jù)所述統(tǒng)計(jì)條件信息對(duì)所述統(tǒng)計(jì)元數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成對(duì)應(yīng)的統(tǒng)計(jì)報(bào)表。

優(yōu)選地，所述獲取待統(tǒng)計(jì)的原始數(shù)據(jù)流的步驟之前，還包括：

設(shè)置待生成統(tǒng)計(jì)報(bào)表的類型，并為每種類型的待生成統(tǒng)計(jì)報(bào)表設(shè)置對(duì)應(yīng)的預(yù)處理類信息和統(tǒng)計(jì)條件信息；

將設(shè)置結(jié)果保存至數(shù)據(jù)統(tǒng)計(jì)配置文件中。

優(yōu)選地，所述獲取待統(tǒng)計(jì)的原始數(shù)據(jù)流的步驟包括：

向預(yù)設(shè)的業(yè)務(wù)消息系統(tǒng)發(fā)送消息數(shù)據(jù)請(qǐng)求；

接收所述業(yè)務(wù)消息系統(tǒng)基于所述消息數(shù)據(jù)請(qǐng)求返回的消息數(shù)據(jù)流，將所述消息數(shù)據(jù)流作為待統(tǒng)計(jì)的原始數(shù)據(jù)流。

優(yōu)選地，所述根據(jù)所述預(yù)處理類信息對(duì)所述原始數(shù)據(jù)流進(jìn)行預(yù)處理，得到對(duì)應(yīng)的統(tǒng)計(jì)元數(shù)據(jù)的步驟包括：

根據(jù)所述預(yù)處理類信息中的分隔符將所述原始數(shù)據(jù)流分割為若干個(gè)預(yù)處理類；

按照預(yù)設(shè)的格式轉(zhuǎn)換規(guī)則對(duì)每個(gè)預(yù)處理類下的原始數(shù)據(jù)流進(jìn)行格式轉(zhuǎn)換，得到對(duì)應(yīng)的統(tǒng)計(jì)元數(shù)據(jù)。

優(yōu)選地，所述根據(jù)所述統(tǒng)計(jì)條件信息對(duì)所述統(tǒng)計(jì)元數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成對(duì)應(yīng)的統(tǒng)計(jì)報(bào)表的步驟包括：

根據(jù)所述統(tǒng)計(jì)條件信息中的邏輯運(yùn)算表達(dá)式對(duì)所述統(tǒng)計(jì)元數(shù)據(jù)進(jìn)行邏輯運(yùn)算；

根據(jù)所述邏輯運(yùn)算結(jié)果生成對(duì)應(yīng)的統(tǒng)計(jì)報(bào)表。

優(yōu)選地，所述根據(jù)所述邏輯運(yùn)算結(jié)果生成對(duì)應(yīng)的統(tǒng)計(jì)報(bào)表的步驟之后，還包括：

將生成的所述統(tǒng)計(jì)報(bào)表存儲(chǔ)至Spark平臺(tái)的數(shù)據(jù)庫中。

優(yōu)選地，所述數(shù)據(jù)統(tǒng)計(jì)方法還包括：