[發明專利]數據聚合方法、裝置及系統

在審

• 申請號: 201610795892.8
• 申請日: 2016-08-31
• 公開（公告）號: CN107798009A
• 公開（公告）日: 2018-03-13
• 發明（設計）人: 李巨雷
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙)11348
• 代理人: 王偉鋒,劉鐵生

技術領域

本發明涉及信息技術領域，尤其涉及一種數據聚合方法、裝置及系統。

背景技術

隨著互聯網的不斷發展，在云環境下進行業務數據的存儲與統計也越來越普遍。例如，對QPS(Query Per Second，每秒查詢率)、PV(Page View，頁面瀏覽量)等不同類別的業務數據進行存儲與統計，具體過程可以如圖11所示，首先將流式的海量數據存入文件或其他存儲介質中，然后每隔一段時間讀取文件，將文件內容采用MapReduce的方式進行計算。由于在云環境下存儲的數據量很大，因此在對云環境中存儲的海量業務數據進行統計時，需要對海量的業務數據進行聚合。

目前，在對云環境中存儲的海量業務數據進行聚合時，首先將不同時間段接收到的業務數據寫入到文件中，然后從文件中讀取需要聚合的某一類別的全部業務數據，最后將讀取的業務數據按照時間進行排序后進行數據聚合。然而，由于在進行數據聚合時，需要對文件進行讀寫操作，而為了解決進行文件讀寫操作過程中存在的文件鎖沖突的問題，會在數據聚合時進行一次保存有待聚合數據的文件復制過程，從而造成數據計算的延遲較高；并且由于還需要將讀取的業務數據按照時間進行一次排序，從而造成數據聚合的過程較為繁瑣，數據聚合操作的效率較低，數據聚合操作延遲較高。

發明內容

有鑒于此，本發明實施例提供一種數據聚合方法、裝置及系統，主要目的是解決在對云環境中存儲的海量業務數據進行聚合時存在數據聚合操作延遲較高的問題。

為達到上述目的，本發明提供如下技術方案：

一方面，本發明提供一種數據聚合方法，包括：

當按照第一預置周期進行數據聚合時，從數據收集器獲取所述數據收集器當前接收到的業務數據，所述業務數據攜帶有時間戳，所述時間戳用于標識所述數據收集器接收到所述業務數據的時間；

判斷所述時間戳是否大于當前需要進行數據聚合時所述第一預置周期對應的聚合觸發時間點，所述第一預置周期對應多個聚合觸發時間點，所述多個聚合觸發時間點分別對應的時間逐個遞增；

若是，則將保存的時間戳為當前需要進行數據聚合時所述第一預置周期對應的聚合觸發時間點的業務數據進行聚合。

另一方面，本發明提供一種數據收集方法，包括：

接收待聚合的業務數據；

為所述業務數據配置時間戳，所述時間戳用于標識所述數據收集器接收到所述業務數據的時間，

以使得分析聚合服務器獲取所述業務數據并根據所述業務數據的時間戳進行數據聚合。

再一方面，本發明提供一種聚合數據查詢方法，包括：

向分析聚合服務器發送數據上報指令，所述數據上報指令中攜帶有需要進行數據聚合的業務數據，以使得分析聚合服務器根據數據收集器接收到所述業務數據的時間和預置聚合觸發時間點，按照預置周期對需要進行數據聚合的業務數據進行數據聚合；

向所述分析聚合服務器發送數據聚合結果查詢指令，所述數據查詢指令中攜帶有待查詢業務數據的時間信息；

接收與所述時間信息對應的數據聚合結果并進行顯示。

又一方面，本發明提供一種數據聚合裝置，包括：

獲取單元，用于當按照第一預置周期進行數據聚合時，從數據收集器獲取所述數據收集器當前接收到的業務數據，所述業務數據攜帶有時間戳，所述時間戳用于標識所述數據收集器接收到所述業務數據的時間；

判斷單元，用于判斷所述獲取單元獲取的所述時間戳是否大于當前需要進行數據聚合時所述第一預置周期對應的聚合觸發時間點，所述第一預置周期對應多個聚合觸發時間點，所述多個聚合觸發時間點分別對應的時間逐個遞增；

聚合單元，用于若所述判斷單元確定大于當前需要進行數據聚合時所述第一預置周期對應的聚合觸發時間點，則將保存的時間戳為所述聚合觸發時間點的業務數據進行聚合。

又一方面，本發明提供一種數據收集裝置，包括：

接收單元，用于接收待聚合的業務數據；

配置單元，用于為所述業務數據配置時間戳，所述時間戳用于標識所述數據收集器接收到所述業務數據的時間，

以使得分析聚合服務器獲取所述業務數據并根據所述業務數據的時間戳進行數據聚合。

又一方面，本發明提供一種聚合數據查詢裝置，包括：

發送單元，用于向分析聚合服務器發送數據上報指令，所述數據上報指令中攜帶有需要進行數據聚合的業務數據，以使得分析聚合服務器根據數據收集器接收到所述業務數據的時間和預置聚合觸發時間點，按照預置周期對需要進行數據聚合的業務數據進行數據聚合；