[發(fā)明專利]實時數(shù)據(jù)統(tǒng)計裝置和方法以及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810434471.1
• 申請日: 2018-05-09
• 公開（公告）號: CN110471943A
• 公開（公告）日: 2019-11-19
• 發(fā)明（設計）人: 支海邦;李猛;喻海林;周龍亭
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 11038 中國國際貿(mào)易促進委員會專利商標事務所
• 代理人: 李昊;許蓓<國際申請>=<國際公布>=<

本發(fā)明公開了一種實時數(shù)據(jù)統(tǒng)計裝置和方法以及計算機可讀存儲介質(zhì)，涉及實時數(shù)據(jù)處理領(lǐng)域。實時數(shù)據(jù)統(tǒng)計裝置包括：一級統(tǒng)計模塊，被配置為采用預設的時間粒度對獲取的原始數(shù)據(jù)進行統(tǒng)計，生成包括原始數(shù)據(jù)中的統(tǒng)計項和統(tǒng)計結(jié)果字段的中間統(tǒng)計數(shù)據(jù)，將中間統(tǒng)計數(shù)據(jù)寫入一級緩存單元中；二級統(tǒng)計模塊，被配置為讀取多個一級緩存單元中的中間統(tǒng)計數(shù)據(jù)，將統(tǒng)計項的值相同的中間統(tǒng)計數(shù)據(jù)寫入同一個二級緩存單元中；三級統(tǒng)計模塊，被配置為對每個二級緩存單元中的數(shù)據(jù)進行統(tǒng)計，生成最終統(tǒng)計數(shù)據(jù)，并將每個二級緩存單元生成的最終統(tǒng)計數(shù)據(jù)進行持久化存儲。本發(fā)明通過對數(shù)據(jù)進行多級處理，實現(xiàn)了數(shù)據(jù)的均勻多點分布，提高了實時數(shù)據(jù)統(tǒng)計的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及實時數(shù)據(jù)處理領(lǐng)域，特別涉及一種實時數(shù)據(jù)統(tǒng)計裝置和方法以及計算機可讀存儲介質(zhì)。

背景技術(shù)

針對海量數(shù)據(jù)的實時統(tǒng)計，傳統(tǒng)的實時數(shù)據(jù)統(tǒng)計方法大多基于批處理模式，實時數(shù)據(jù)流需要預先存儲在數(shù)據(jù)庫管理系統(tǒng)中才可進行后續(xù)的統(tǒng)計計算。相關(guān)技術(shù)主要使用關(guān)系型數(shù)據(jù)庫，比如Oracle、MySQL等存儲原始數(shù)據(jù)流，并根據(jù)數(shù)據(jù)統(tǒng)計邏輯編寫相應的SQL(Structured Query Language，結(jié)構(gòu)化查詢語言)語句和統(tǒng)計腳本，并將統(tǒng)計腳本得到的最終統(tǒng)計結(jié)果保存到數(shù)據(jù)庫。然而，相關(guān)技術(shù)在海量實時數(shù)據(jù)環(huán)境下，統(tǒng)計邏輯計算比較復雜，導致數(shù)據(jù)庫計算和讀寫性能下降。

發(fā)明內(nèi)容

本發(fā)明實施例所要解決的一個技術(shù)問題是：如何提高實時數(shù)據(jù)統(tǒng)計的效率。

根據(jù)本發(fā)明一些實施例的第一個方面，提供一種實時數(shù)據(jù)統(tǒng)計裝置，包括：一級統(tǒng)計模塊，被配置為采用預設的時間粒度對獲取的原始數(shù)據(jù)進行統(tǒng)計，生成包括原始數(shù)據(jù)中的統(tǒng)計項和統(tǒng)計結(jié)果字段的中間統(tǒng)計數(shù)據(jù)，將中間統(tǒng)計數(shù)據(jù)寫入一級緩存單元中；二級統(tǒng)計模塊，被配置為讀取多個一級緩存單元中的中間統(tǒng)計數(shù)據(jù)，將統(tǒng)計項的值相同的中間統(tǒng)計數(shù)據(jù)寫入同一個二級緩存單元中；三級統(tǒng)計模塊，被配置為對每個二級緩存單元中的數(shù)據(jù)進行統(tǒng)計，生成最終統(tǒng)計數(shù)據(jù)，并將每個二級緩存單元生成的最終統(tǒng)計數(shù)據(jù)進行持久化存儲。

在一些實施例中，一級統(tǒng)計模塊、二級統(tǒng)計模塊、三級統(tǒng)計模塊并行執(zhí)行。

在一些實施例中，一級統(tǒng)計模塊包括多個一級統(tǒng)計進程，每個一級統(tǒng)計進程被配置為從與一級統(tǒng)計進程預先關(guān)聯(lián)的數(shù)據(jù)源中獲取原始數(shù)據(jù)；或者，二級統(tǒng)計模塊包括多個二級統(tǒng)計進程，每個二級統(tǒng)計進程被配置為從二級統(tǒng)計進程預先關(guān)聯(lián)的一級緩存單元中讀取中間統(tǒng)計數(shù)據(jù)；或者，三級統(tǒng)計模塊包括多個三級統(tǒng)計進程，每個三級統(tǒng)計進程分別被配置為統(tǒng)計三級統(tǒng)計進程預先關(guān)聯(lián)的每個二級緩存單元中的數(shù)據(jù)，三級統(tǒng)計進程的數(shù)量等于二級緩存單元的數(shù)量。

在一些實施例中，實時數(shù)據(jù)統(tǒng)計裝置還包括：位于一級統(tǒng)計模塊、二級統(tǒng)計模塊、三級統(tǒng)計模塊中的一個或多個中的主進程單元，被配置為讀取配置中心的配置信息，并根據(jù)配置信息創(chuàng)建、監(jiān)控、重建、或銷毀一級統(tǒng)計模塊的一級統(tǒng)計進程、二級統(tǒng)計模塊的二級統(tǒng)計進程、三級統(tǒng)計模塊的三級統(tǒng)計進程中的一個或多個。

在一些實施例中，一級緩存單元為隊列類型；或者，二級緩存單元為有序集合類型；二級統(tǒng)計模塊進一步被配置為向中間統(tǒng)計數(shù)據(jù)添加通用唯一識別碼字段和值。

在一些實施例中，一級統(tǒng)計模塊進一步被配置為采用隨機輪詢的方式將每條中間統(tǒng)計數(shù)據(jù)寫入多個一級緩存單元中的一個。

在一些實施例中，二級統(tǒng)計模塊進一步被配置為計算每條中間統(tǒng)計數(shù)據(jù)的統(tǒng)計項的值的哈希值，將計算出的哈希值相同的中間統(tǒng)計數(shù)據(jù)寫入同一個二級緩存單元中。

在一些實施例中，實時數(shù)據(jù)統(tǒng)計裝置還包括一級緩存單元、二級緩存單元、配置中心中的一種或多種；其中，配置中心被配置為存儲一級統(tǒng)計模塊、二級統(tǒng)計模塊、三級統(tǒng)計模塊的配置信息。

在一些實施例中，一級緩存單元和二級緩存單元為內(nèi)存數(shù)據(jù)庫Redis的節(jié)點。