[發(fā)明專利]基于流式計算的數(shù)據(jù)統(tǒng)計分析方法及系統(tǒng)、計算機程序

在審

• 申請?zhí)枺?/td>: 201810028931.0
• 申請日: 2018-01-12
• 公開（公告）號: CN108108488A
• 公開（公告）日: 2018-06-01
• 發(fā)明（設(shè)計）人: 喻銀根;朱秀松;程國艮
• 申請（專利權(quán)）人: 中譯語通科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京萬貝專利代理事務(wù)所(特殊普通合伙) 11520
• 代理人: 馬紅

1.一種基于流式計算的數(shù)據(jù)統(tǒng)計分析方法，其特征在于，所述基于流式計算的數(shù)據(jù)統(tǒng)計分析方法為：

通過爬蟲進行數(shù)據(jù)的獲取；

通過數(shù)據(jù)的屬性、特性、分類屬性、不同的時間緯度進行將同樣屬性的數(shù)據(jù)進行加法統(tǒng)計，將數(shù)據(jù)時間格式化后進行時間的數(shù)據(jù)統(tǒng)計，將同分類進行統(tǒng)計計算，或者將多種屬性當做唯一值進行統(tǒng)計，如：將新聞類，2018年1月1日中國數(shù)據(jù)進行數(shù)據(jù)量統(tǒng)計，美國數(shù)據(jù)進行數(shù)據(jù)量統(tǒng)計；

將統(tǒng)計結(jié)果進行分類存儲。

2.如權(quán)利要求1所述的基于流式計算的數(shù)據(jù)統(tǒng)計分析方法，其特征在于，所述基于流式計算的數(shù)據(jù)統(tǒng)計分析方法具體包括：

將接收的數(shù)據(jù)放到流式任務(wù)中；首先進行數(shù)據(jù)分類，將同樣的分類的數(shù)據(jù)進行計算并保存，然后，根據(jù)保存的結(jié)果進行聚合獲得分析結(jié)果；

數(shù)據(jù)分類包括把具有某種共同屬性或特征的數(shù)據(jù)歸并在一起，進行區(qū)別；

數(shù)據(jù)分類中，遵循約定的分類原則，按照數(shù)據(jù)的內(nèi)涵、性質(zhì)及管理的要求，將所有數(shù)據(jù)按一定的結(jié)構(gòu)體系分為不同的集合，使每個數(shù)據(jù)在相應(yīng)的分類體系中都有一個對應(yīng)位置。

3.如權(quán)利要求1所述的基于流式計算的數(shù)據(jù)統(tǒng)計分析方法，其特征在于，所述不同的時間緯度包括：字符型定性維度和數(shù)值型定量維度；

所述通過數(shù)據(jù)的屬性、特性、分類屬性、不同的時間緯度進行聚合、計算、統(tǒng)計；具體包括：

對定量維度做數(shù)值型數(shù)據(jù)離散化，并根據(jù)時間進行最細的流水統(tǒng)計；接著，把流水數(shù)據(jù)進行持久化保存；

當需要對保存的數(shù)據(jù)中其中的一個字符型定性維度進行分析時，對持久化數(shù)據(jù)的結(jié)果進行單維度的聚合，獲得到計算分析的結(jié)果；保存結(jié)果為時間、國家、分類統(tǒng)計，而我們需要對國家數(shù)據(jù)量進行分析時，就只需要根據(jù)國家數(shù)據(jù)量進行數(shù)據(jù)聚合，就可以得到我們需要的數(shù)據(jù)。

4.一種實現(xiàn)權(quán)利要求1～3任意一項所述基于流式計算的數(shù)據(jù)統(tǒng)計分析方法的計算機程序。

5.一種實現(xiàn)權(quán)利要求1～3任意一項所述基于流式計算的數(shù)據(jù)統(tǒng)計分析方法的信息數(shù)據(jù)處理終端。

6.一種計算機可讀存儲介質(zhì)，包括指令，當其在計算機上運行時，使得計算機執(zhí)行如權(quán)利要求1-3任意一項所述的基于流式計算的數(shù)據(jù)統(tǒng)計分析方法。

7.一種如權(quán)利要求1所述基于流式計算的數(shù)據(jù)統(tǒng)計分析方法的基于流式計算的數(shù)據(jù)統(tǒng)計分析系統(tǒng)，其特征在于，所述基于流式計算的數(shù)據(jù)統(tǒng)計分析系統(tǒng)包括：

接收數(shù)據(jù)模塊：用于接收數(shù)據(jù)供應(yīng)提供的數(shù)據(jù)；

數(shù)據(jù)分類模塊：用于將數(shù)據(jù)根據(jù)各種分類進行處理；

數(shù)據(jù)計算模塊：用于根據(jù)數(shù)據(jù)的分類將數(shù)據(jù)進行分類分緯度計算；

數(shù)據(jù)保存模塊：將計算結(jié)果進行保存；

二次聚合模塊：通過保存結(jié)果的不同緯度分類，進行二次聚合，并獲得需要的結(jié)果。

8.一種搭載有權(quán)利要求7所述基于流式計算的數(shù)據(jù)統(tǒng)計分析系統(tǒng)的信息數(shù)據(jù)處理終端。