[發明專利]一種數據流增量聚集統計、查詢方法及查詢系統

無效

• 申請號: 201110220816.1
• 申請日: 2011-08-03
• 公開（公告）號: CN102456069A
• 公開（公告）日: 2012-05-16
• 發明（設計）人: 劉東;賈焰;韓偉紅;楊樹強;周斌;鄭黎明;徐鏡湖;張建鋒;劉斐;夏榕澤;李遠征;王雯霞
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種數據流增量聚集統計方法，其中，以基本時間窗口為單位維持概要數據結構，同時維持滑動時間窗口所對應的概要數據結構；N個基本時間窗口組成所述滑動時間窗口，所述滑動時間窗口的時間寬度固定，N為不小于2的整數；

所述數據流增量聚集統計方法包括下列步驟：

1)根據數據流的各數據流元組更新當前基本時間窗口所對應的概要數據結構；

2)將過期的基本時間窗口從所述滑動時間窗口移出；將新的基本時間窗口移入滑動時間窗口作為當前基本時間窗口并建立相應的概要數據結構，并且更新滑動時間窗口所對應的概要數據結構。

2.根據權利要求1所述的數據流增量聚集統計方法，其特征在于，所述滑動時間窗口由N個等寬、連續的基本時間窗口組成。

3.根據權利要求2所述的數據流增量聚集統計方法，其特征在于，所述概要數據結構中，所述數據流元組的事件屬性為分組屬性，在一個概要數據結構中至少包括兩種分組屬性，所述概要數據結構記錄所述分組屬性的屬性值及該分組屬性所對應的聚集值；所述基本時間窗口所對應的概要數據結構中，所述聚集值是在基本時間窗口范圍內的聚集值；所述滑動時間窗口所對應的概要數據結構中，所述聚集值是滑動時間窗口范圍內的聚集值。

4.根據權利要求3所述的數據流增量聚集統計方法，其特征在于，所述步驟1)包括下列子步驟：

11)當數據流元組到達時，判斷當前數據流元組的到達時間是否已經超過當前的基本時間窗口的時間范圍，如果判斷為是，執行所述步驟2)，如果判斷為否，執行步驟12)；

12)對當前基本時間窗口所對應的概要數據結構中的元組數據與新數據流元組的數據進行聚集運算，得到每個分組屬性的聚集值；

13)更新當前基本時間窗口每個分組屬性的聚集值，回到步驟11)，繼續進行數據流增量聚集統計。

5.根據權利要求4所述的數據流增量聚集統計方法，其特征在于，所述步驟2)包括下列子步驟：

21)在滑動時間窗口中加入新的基本時間窗口；

22)更新步驟21)加入的新基本時間窗口每個分組屬性的聚集值；

23)更新滑動時間窗口每個分組屬性的聚集值；

24)移出滑動時間窗口中過期的基本時間窗口；回到步驟11)，繼續進行數據流增量聚集統計。

6.根據權利要求1所述的數據流增量聚集統計方法，其特征在于，所述步驟1)之前還包括預處理步驟：根據所要統計的數據流的維度定義滑動時間窗口和基本時間窗口的分組屬性，根據所要統計的數據流類型確定滑動時間窗口和每個基本時間窗口的時間寬度。

7.根據權利要求1～6所述的數據流增量聚集統計方法，其特征在于，所述數據流是網絡安全事件數據流。

8.一種數據流增量聚集查詢方法，其特征在于，包括下列步驟：

31)預定義進行查詢的條件；

32)按照權利要求1～6中任一項所述的數據流增量聚集統計方法進行數據流增量聚集統計，得到實時的滑動時間窗口和各基本時間窗口的概要數據結構；

33)當所述步驟31)預定義的查詢條件滿足時，對當前的滑動時間窗口和各基本時間窗口的概要數據結構執行查詢操作，得到查詢結果。

9.一種數據流增量聚集查詢系統，其特征在于，包括：

預定義查詢存儲裝置，用于存儲預定義查詢條件；

實時增量聚集統計與存儲裝置，用于按照權利要求1～6中任一項所述的數據流增量聚集統計方法進行數據流增量聚集統計，得到并存儲實時的滑動時間窗口和各基本時間窗口的概要數據結構；以及

查詢處理器，用于在所述預定義的查詢條件滿足時，對當前的滑動時間窗口和各基本時間窗口的概要數據結構執行查詢操作，得到查詢結果。