[發明專利]統計數據的方法、裝置和系統

在審

• 申請號: 201810264698.6
• 申請日: 2018-03-28
• 公開（公告）號: CN108491270A
• 公開（公告）日: 2018-09-04
• 發明（設計）人: 劉京洋;岑銳堅;勞仲康;周藝威
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 褚敏;宮傳芝

本發明公開了一種統計數據的方法、裝置和系統。其中，該方法包括：獲取待統計數據，其中，待統計數據存儲在至少一個數量桶中，至少一個數量桶中每個數量桶分別具有對應的時間標簽；對每個數量桶內的數據進行求和處理，得到每個數量桶的數據總和；對每個數量桶的數據總和進行統計，得到與待統計數據關聯的統計結果。本發明解決了對高并發業務下的數據進行逐一統計所造成的系統內存損耗大的技術問題。

技術領域

本發明涉及計算機領域，具體而言，涉及一種統計數據的方法、裝置和系統。

背景技術

在計算機的運行過程中，統計數據需要消耗大量的計算機內存和CPU開銷。例如，統計一段時間內前90％的數據的平均值，計算機通常是統計該時間段內的數據，然后對得到的數據進行遍歷、排序、計算等，最終得到統計結果。然而，在并發量較高或者統計數據的時間段較長時，計算機的內容開銷將變得很大，而由排序所帶來的CPU的開銷會更大。例如，對一個每秒40萬請求的高并發系統中，每一個請求對應10個統計數據，每個數據為8個字節，假設統計時間為1分鐘，則需要10*8*60*40w＝192000w＝182MB個字節的存儲空間來完成排序，這將造成較大的計算機內存和CPU的開銷。

為解決上述問題，目前主要有兩種解決方法，即通過時間桶進行聚合以及對數據進行逐一統計的方法。其中，按照時間桶進行聚合的方法是指在時間維度上等間隔的進行數據統計，即每次統計一個固定的較短的時間間隔內的數據，從而得到時間維度上的統計結果。然而，該方法無法對空間維度(或者數量維度)上的數據進行統計，例如，無法計算前90％的數據的平均值。而對數據進行逐一統計的方法是指在計算機的內存中存儲每一個記錄的數據，在統計時間區間內對記錄的數據進行存儲，在達到時間區間之后，便對該時間區間內所記錄的數據進行統計。然而，該方法需要消耗大量的內存和CPU。

針對上述對高并發業務下的數據進行逐一統計所造成的系統內存損耗大的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種統計數據的方法、裝置和系統，以至少解決對高并發業務下的數據進行逐一統計所造成的系統內存損耗大的技術問題。

根據本發明實施例的一個方面，提供了一種統計數據的方法，包括：獲取待統計數據，其中，待統計數據存儲在至少一個數量桶中，至少一個數量桶中每個數量桶分別具有對應的時間標簽；對每個數量桶內的數據進行求和處理，得到每個數量桶的數據總和；對每個數量桶的數據總和進行統計，得到與待統計數據關聯的統計結果。

根據本發明實施例的另一方面，還提供了一種統計數據的裝置，包括：獲取模塊，用于獲取待統計數據，其中，待統計數據存儲在至少一個數量桶中，至少一個數量桶中每個數量桶分別具有對應的時間標簽；處理模塊，用于對每個數量桶內的數據進行求和處理，得到每個數量桶的數據總和；統計模塊，用于對每個數量桶的數據總和進行統計，得到與待統計數據關聯的統計結果。

根據本發明實施例的另一方面，還提供了一種存儲介質，該存儲介質包括存儲的程序，其中，程序執行統計數據的方法。

根據本發明實施例的另一方面，還提供了一種處理器，該處理器用于運行程序，其中，程序運行時執行統計數據的方法。

根據本發明實施例的另一方面，還提供了一種統計數據的系統，包括：輸入設備，用于輸入待統計數據；處理器，處理器運行程序，其中，程序運行時對于從輸入設備輸出的數據執行如下處理步驟：獲取待統計數據，其中，待統計數據存儲在至少一個數量桶中，至少一個數量桶中每個數量桶分別具有對應的時間標簽；對每個數量桶內的數據進行求和處理，得到每個數量桶的數據總和；對每個數量桶的數據總和進行統計，得到與待統計數據關聯的統計結果。