[發明專利]實時數據統計裝置和方法以及計算機可讀存儲介質

在審

• 申請號: 201810434471.1
• 申請日: 2018-05-09
• 公開（公告）號: CN110471943A
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 支海邦;李猛;喻海林;周龍亭
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 11038 中國國際貿易促進委員會專利商標事務所
• 代理人: 李昊;許蓓<國際申請>=<國際公布>=<

1.一種實時數據統計裝置，包括：

一級統計模塊，被配置為采用預設的時間粒度對獲取的原始數據進行統計，生成包括原始數據中的統計項和統計結果字段的中間統計數據，將中間統計數據寫入一級緩存單元中；

二級統計模塊，被配置為讀取多個一級緩存單元中的中間統計數據，將所述統計項的值相同的中間統計數據寫入同一個二級緩存單元中；

三級統計模塊，被配置為對每個二級緩存單元中的數據進行統計，生成最終統計數據，并將每個二級緩存單元生成的最終統計數據進行持久化存儲。

2.根據權利要求1所述的實時數據統計裝置，其中，一級統計模塊、二級統計模塊、三級統計模塊并行執行。

3.根據權利要求1所述的實時數據統計裝置，其中，

所述一級統計模塊包括多個一級統計進程，每個一級統計進程被配置為從與所述一級統計進程預先關聯的數據源中獲取原始數據；或者，

所述二級統計模塊包括多個二級統計進程，每個二級統計進程被配置為從所述二級統計進程預先關聯的一級緩存單元中讀取中間統計數據；或者，

所述三級統計模塊包括多個三級統計進程，每個三級統計進程分別被配置為統計所述三級統計進程預先關聯的每個二級緩存單元中的數據，所述三級統計進程的數量等于所述二級緩存單元的數量。

4.根據權利要求3所述的實時數據統計裝置，還包括：

位于一級統計模塊、二級統計模塊、三級統計模塊中的一個或多個中的主進程單元，被配置為讀取配置中心的配置信息，并根據配置信息創建、監控、重建、或銷毀一級統計模塊的一級統計進程、二級統計模塊的二級統計進程、三級統計模塊的三級統計進程中的一個或多個。

5.根據權利要求1所述的實時數據統計裝置，其中，

所述一級緩存單元為隊列類型；或者，

所述二級緩存單元為有序集合類型；所述二級統計模塊進一步被配置為向中間統計數據添加通用唯一識別碼字段和值。

6.根據權利要求1所述的實時數據統計裝置，其中，所述一級統計模塊進一步被配置為采用隨機輪詢的方式將每條中間統計數據寫入多個一級緩存單元中的一個。

7.根據權利要求1所述的實時數據統計裝置，其中，所述二級統計模塊進一步被配置為計算每條中間統計數據的統計項的值的哈希值，將計算出的哈希值相同的中間統計數據寫入同一個二級緩存單元中。

8.根據權利要求1所述的實時數據統計裝置，還包括一級緩存單元、二級緩存單元、配置中心中的一種或多種；

其中，所述配置中心被配置為存儲一級統計模塊、二級統計模塊、三級統計模塊的配置信息。

9.根據權利要求8所述的實時數據統計裝置，其中，一級緩存單元和二級緩存單元為內存數據庫Redis的節點。

10.一種實時數據統計方法，包括：

一級統計模塊采用預設的時間粒度對獲取的原始數據進行統計，生成包括原始數據中的統計項和統計結果字段的中間統計數據，將中間統計數據寫入一級緩存單元中；

二級統計模塊讀取多個一級緩存單元中的中間統計數據，將所述統計項的值相同的中間統計數據寫入同一個二級緩存單元中；

三級統計模塊對每個二級緩存單元中的數據進行統計，生成最終統計數據，并將每個二級緩存單元生成的最終統計數據進行持久化存儲。

11.根據權利要求10所述的實時數據統計方法，其中，一級統計模塊、二級統計模塊、三級統計模塊并行執行。