[發明專利]一種數據統計方法及系統

有效

• 申請號: 201811376444.X
• 申請日: 2018-11-19
• 公開（公告）號: CN109656981B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 丁一寧
• 申請（專利權）人: 南京國通智能科技有限公司
• 主分類號: G06F16/248
• 分類號: G06F16/248;G06F16/2458;G06F16/2455
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立;陳振玉

本發明涉及一種數據統計方法及系統，所述方法包括：步驟1，獲取業務數據；步驟2，對所述業務數據進行處理，獲得用于存儲到永久性存儲介質中的持久數據，將所述持久數據存儲到Kafka集群中；步驟3，根據Spark技術和數據庫中預設的統計對象讀取所述Kafka集群中的所述持久數據，所述數據庫中還預設有統計規則和統計維度，根據所述統計規則和所述統計維度對所述持久數據進行實時流式統計，獲得統計結果；步驟4，根據預設的展示方式輸出所述統計結果。本發明的技術方案能夠大幅提高統計方法及系統的通用性和實時性。

技術領域

本發明涉及大數據技術領域，尤其涉及一種數據統計方法及系統。

背景技術

隨著大數據時代的來臨，數據以不可思議的速度迅猛增長，為了對大量數據進行有效管理，需要對數據進行統計。統計是對某一現象相關數據的搜集、整理、計算、分析、解釋、表述等活動，利用統計，不僅可以對事物本身進行定量定性分析，發現事物的內在規律，還可以對不同事物進行有聯系的綜合性分析，發現事物之間的內在聯系。目前，常用的統計方法通常針對不同的用戶定制對應的統計邏輯，設置對應的統計規則，根據該統計規則對業務數據進行統計。一方面，統計方法是根據不同用戶的具體需求設計開發出來的，不能復用；另一方面，統計工作往往在業務數據產生后才開展，例如業務數據產生后，系統每隔標定時間統計一次業務數據，實時性差。

發明內容

為了提高大數據統計方法及系統的通用性和實時性，本發明提供一種數據統計方法及系統。

本發明解決上述技術問題的技術方案如下：

第一方面，本發明提供了一種數據統計方法，所述方法包括：

步驟1，獲取業務數據。

步驟2，對所述業務數據進行處理，獲得用于存儲到永久性存儲介質中的持久數據，將所述持久數據存儲到Kafka集群中。

步驟3，根據Spark技術和數據庫中預設的統計對象讀取所述Kafka集群中的所述持久數據，所述數據庫中還預設有統計規則和統計維度，根據所述統計規則和所述統計維度對所述持久數據進行實時流式統計，獲得統計結果。

步驟4：根據預設的展示方式輸出所述統計結果。

第二方面，本發明提供了一種數據統計系統，所述系統包括：

獲取模塊，獲取業務數據。

處理模塊，對所述業務數據進行處理，獲得用于存儲到永久性存儲介質中的持久數據，將所述持久數據存儲到Kafka集群中。

統計模塊，根據Spark技術和數據庫中預設的統計對象讀取所述Kafka集群中的所述持久數據，所述數據庫中還預設有統計規則和統計維度，根據所述統計規則和所述統計維度對所述持久數據進行實時流式統計，獲得統計結果。

輸出模塊，根據預設的展示方式輸出所述統計結果。