[發明專利]一種數據統計方法及系統

有效

• 申請號: 201811376444.X
• 申請日: 2018-11-19
• 公開（公告）號: CN109656981B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 丁一寧
• 申請（專利權）人: 南京國通智能科技有限公司
• 主分類號: G06F16/248
• 分類號: G06F16/248;G06F16/2458;G06F16/2455
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立;陳振玉

1.一種數據統計方法，其特征在于，所述方法包括：

步驟1，獲取業務數據；

步驟2，對所述業務數據進行處理，獲得用于存儲到永久性存儲介質中的持久數據，將所述持久數據存儲到Kafka集群中；

步驟3，根據Spark技術和數據庫中預設的統計對象讀取所述Kafka集群中的所述持久數據，所述數據庫中還預設有統計規則和統計維度，根據所述統計規則和所述統計維度對所述持久數據進行實時流式統計，獲得統計結果；

步驟4，根據預設的展示方式輸出所述統計結果；

所述數據庫包括多個不同的所述統計對象、多個不同的所述統計規則和多個不同的所述統計維度，所述步驟1之前還包括如下步驟：

根據需求預先選擇所述統計對象、所述統計規則和所述統計維度，所述統計對象為需要統計的目標，所述統計規則為具體的統計運算方法，所述統計維度為統計的方向和粒度；

所述步驟2的具體實現為：

持久化所述業務數據，并對所述業務數據設置對應的主題和標識碼，獲得所述持久數據，將所述持久數據存儲到所述Kafka集群中，其中，所述主題與所述統計對象對應，所述標識碼與所述統計維度和所述統計規則對應；

所述步驟3具體包括如下步驟：

步驟3.1，根據預設的所述統計對象確定所述主題，利用Spark技術讀取與所述主題對應的所述持久數據，獲得與所述持久數據對應的所述標識碼；

步驟3.2，根據所述標識碼確定所述統計規則和所述統計維度；

步驟3.3，根據所述統計規則和所述統計維度對所述持久數據進行運算，獲得所述統計結果。

2.根據權利要求1所述的數據統計方法，其特征在于，所述步驟4的具體實現為：

持久化所述統計結果，將所述統計結果存儲到所述數據庫中，并將所述統計結果以所述預設的展示方式進行顯示。

3.一種數據統計系統，其特征在于，所述系統包括：

獲取模塊，獲取業務數據；

處理模塊，對所述業務數據進行處理，獲得用于存儲到永久性存儲介質中的持久數據，將所述持久數據存儲到Kafka集群中；

統計模塊，根據Spark技術和數據庫中預設的統計對象讀取所述Kafka集群中的所述持久數據，所述數據庫中還預設有統計規則和統計維度，根據所述統計規則和所述統計維度對所述持久數據進行實時流式統計，獲得統計結果；

輸出模塊，根據預設的展示方式輸出所述統計結果；

所述數據庫包括多個不同的所述統計對象、多個不同的所述統計規則和多個不同的所述統計維度，所述系統還包括設置模塊，所述設置模塊具體用于：

根據需求預先選擇所述統計對象、所述統計規則和所述統計維度，所述統計對象為需要統計的目標，所述統計規則為具體的統計運算方法，所述統計維度為統計的方向和粒度；

所述處理模塊具體用于：

持久化所述業務數據，并對所述業務數據設置對應的主題和標識碼，獲得所述持久數據，將所述持久數據存儲到所述Kafka集群中，其中，所述主題與所述統計對象對應，所述標識碼與所述統計維度和所述統計規則對應；

所述統計模塊的具體用于：

根據預設的所述統計對象確定所述主題，利用所述Spark技術讀取與所述主題對應的所述持久數據，獲得與所述持久數據對應的所述標識碼；

根據所述標識碼確定所述統計規則和所述統計維度；

根據所述統計規則和所述統計維度對所述持久數據進行運算，獲得所述統計結果。

4.根據權利要求3所述的數據統計系統，其特征在于，所述輸出模塊具體用于：

持久化所述統計結果，將所述統計結果存儲到所述數據庫中，并將所述統計結果以所述預設的展示方式進行顯示。