[發明專利]一種數據過濾與合并的方法

無效

• 申請號: 200910085036.3
• 申請日: 2009-05-27
• 公開（公告）號: CN101902335A
• 公開（公告）日: 2010-12-01
• 發明（設計）人: 諸葛凌嘯;段文國;王亮
• 申請（專利權）人: 北京啟明星辰信息技術股份有限公司;北京啟明星辰信息安全技術有限公司
• 主分類號: H04L9/36
• 分類號: H04L9/36;H04L29/06
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 龍洪;霍育棟

技術領域

本發明涉及信息管理技術領域，尤其涉及一種數據過濾與合并的方法。

背景技術

安全信息管理(Security?Information?Manage，SIM)技術用于搜集、分析和關聯來自于整個企業的安全事件信息，安全信息管理技術具體是指搜集和分析安全事件信息，及時地檢測到安全事件，并采取相應的網絡安全管理措施。對于檢測到的安全事件，根據用戶的需要，需要按照不同的字段值進行過濾以及合并。

SIMS(Security?Information?Manage?System，SIMS)需要收集各類安全設備、網絡設備、主機以及應用系統的日志和告警數據等多種類型的數據，各種數據的類型不盡相同。目前，數據過濾與合并主要采用的方法是將多種數據類型采用硬編碼的方式預先定義在程序中，由程序對各種類型的數據分別進行過濾與合并。

采用上述方式的主要缺點在于，數據類型定義好之后便很難再進行修改，此外，由于網絡產品的日益增多，系統需要處理的數據類型也在不斷的增加，現有的數據類型也會不斷的更新，采用硬編碼的方式預先定義數據類型，不利于系統的擴展，大大降低了系統的可維護性。

發明內容

本發明要解決的技術問題是提供一種數據過濾與合并的方法，解決硬編碼方式無法進行數據類型修改與擴展的問題，實現一種對各種類型的數據進行過濾與合并的通用方法。

為解決上述技術問題，本發明的一種數據過濾與合并的方法，包括：

按照數據的類型將數據的結構信息、過濾規則和合并規則存儲在對應的配置文件中；

接收到數據后，根據所接收的數據的類型讀取出對應的配置文件，根據所讀取的配置文件中的結構信息和過濾規則濾除或保留該數據；

若保留該數據，則根據所讀取的配置文件中的結構信息和合并規則將該數據與相應數據進行合并。

進一步地，數據的結構信息包括：數據的各字段的偏移量；

過濾規則下包含過濾規則策略，過濾規則策略下包含數據中每個字段的字段過濾策略；

合并規則下包含合并規則策略，合并規則策略下包含數據中每個字段的字段合并策略。

進一步地，根據所讀取的配置文件中的結構信息和過濾規則濾除或保留該數據的過程包括：

根據過濾規則下的字段過濾策略查找過濾字段以及過濾條件；

從數據結構信息中查找過濾字段的偏移量，根據接收的數據在內存中存儲的首地址以及過濾字段的偏移量，在內存中查找到該過濾字段的字段值；

判斷過濾字段的字段值是否滿足過濾條件，并根據過濾規則策略的過濾模式屬性選擇濾除或保留所接收的數據。

進一步地，根據所讀取的配置文件中的結構信息和合并規則將該數據與相應數據進行合并的過程包括：

從數據結構信息中查找接收的數據的每個字段的偏移量，根據該接收的數據在內存中存儲的首地址以及每個字段的偏移量，在內存中查找到每個字段的字段值；

判斷合并隊列中是否存在與接收的數據合并規則策略相同的數據，如果存在，則將接收的數據的每個字段的字段值，按照每個字段的字段合并策略中的合并方式屬性，合并入合并隊列中合并規則策略相同的數據中；否則，將該接收的數據加入合并隊列中。

進一步地，字段過濾策略包含使能屬性，該使能屬性標識過濾字段，字段過濾策略還包含過濾判斷操作、操作數1和操作數2屬性，該過濾判斷操作、操作數1和操作數2屬性表示過濾條件。

進一步地，在進行合并的過程中，從數據結構信息中查找接收的數據的每個字段的偏移量前，還包括：

根據合并規則的字段合并策略的使能屬性查找合并過濾字段以及獲取字段合并策略的過濾判斷操作、操作數1和操作數2屬性作為合并過濾條件；

從數據結構信息中查找合并過濾字段的偏移量，根據接收的數據在內存中存儲的首地址以及合并過濾字段的偏移量，在內存中查找到該合并過濾字段的字段值；

判斷合并過濾字段的字段值是否滿足合并過濾條件，并根據合并規則策略的合并過濾模式屬性選擇濾除或保留所接收的數據，如果保留所接收的數據，則進一步執行從數據結構信息中查找接收的數據的每個字段的偏移量。

進一步地，將數據加入合并隊列中后，記錄數據加入合并隊列的時長以及數據隊列中的數據個數；

當合并隊列中的某個數據加入合并隊列的時長等于合并規則中的合并時間間隔時，將該數據存入發送隊列；

當合并隊列中的數據個數滿足合并規則的合并隊列的限制長度后，將合并隊列中的數據存入發送隊列。

進一步地，一種數據過濾的方法，包括：