[發明專利]一種靶場中時序數據的存儲與快速統計方法及系統

有效

• 申請號: 202110916472.1
• 申請日: 2021-08-11
• 公開（公告）號: CN113360551B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 殷慶榮;盧成遠;謝崢;高慶官;唐海均;王國偉
• 申請（專利權）人: 南京賽寧信息技術有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F30/20
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

1.一種靶場中時序數據的存儲與快速統計方法，其特征在于，所述方法包括如下步驟：

將時序數據分別按照時間戳和靶場事件數據值進行排序，得到第一數據集合和第二數據集合；在排序過程中獲取時間戳的最大值和最小值，以及靶場事件數據值的最大值和最小值；所述時序數據至少包括記錄靶場中某一事件發生時的時間戳和相應的靶場事件數據值；

將時間戳的最值之間以及靶場事件數據值的最值之間分別均勻分段，生成矩陣式索引塊，每個索引塊代表指定數值范圍的時間戳和靶場事件數據值；索引塊元數據包括該索引塊對應的時間戳和靶場事件數據值的最值、該索引塊覆蓋的所有靶場事件數據值的累加和、覆蓋的實際元素個數、索引塊覆蓋的元素中時間戳的最小值在實際存儲文件中的偏移地址以及靶場事件數據值的最小值在實際存儲文件中的偏移地址；

將第一數據集合逐條寫入磁盤，得到第一文件；在數據寫入過程中更新對應的索引塊元數據，包括更新靶場事件數據的累加和、實際元素個數、時間戳的最小值在實際存儲文件中的偏移地址；將第二數據集合逐條寫入磁盤，得到第二文件，在數據寫入過程中更新對應索引塊元數據的靶場事件數據值的最小值在實際存儲文件中的偏移地址；

在接收到統計查詢需求時，首先根據查詢條件確定需要被查詢的所有索引塊，然后根據每個被查詢的索引塊的狀態計算實際需要執行的物理查詢計劃，對于索引塊無實際的物理存儲數據或所有數據均符合查詢條件的，不執行實際物理查詢；對于索引塊的部分數據符合查詢條件，執行實際物理查詢，最后綜合查詢條件對應所有索引塊的結果，完成快速統計；

在需要執行實際物理查詢時，將對具有相同時間戳范圍的索引塊對應到查詢第一文件，記為一次查詢，將對具有相同靶場事件數據值范圍的索引塊對應到查詢第二文件，記為一次查詢；在覆蓋所有需要實際物理查詢的索引塊的情況下，若查詢第一文件的總次數小于查詢第二文件的總次數，則從第一文件中執行實際物理查詢，若查詢第二文件的總次數小于查詢第一文件的總次數，則從第二文件中執行實際物理查詢。

2.根據權利要求1所述的靶場中時序數據的存儲與快速統計方法，其特征在于，在需要執行實際物理查詢時，以磁盤訪問次數最小為原則確定最優執行計劃：優先將對連續的索引塊的查詢對應到查詢同一文件，選取查詢文件總次數最少的且能覆蓋所有需要實際物理查詢的索引塊的查詢計劃為最優執行計劃。

3.根據權利要求1所述的靶場中時序數據的存儲與快速統計方法，其特征在于，通過物理查詢計劃從第一文件或第二文件中查找符合查詢條件的數據，記錄累加值或個數，結合所有數據均符合查詢條件的索引塊對應的元數據記錄的累加值或個數，得到最終統計結果。

4.根據權利要求1所述的靶場中時序數據的存儲與快速統計方法，其特征在于，所述靶場事件數據值為從靶場中物理機或虛擬機上采集的能夠量化存儲的數據值，包括CPU使用率、內存占用率、進程號、磁盤IO或網卡數據流量；所述時序數據中還記錄靶場事件數據值對應的物理機或虛擬機的標記信息和/或環境信息。

5.根據權利要求1所述的靶場中時序數據的存儲與快速統計方法，其特征在于，所述統計包括求和、求均值、統計滿足查詢約束條件的個數中的一種或多種。