[發明專利]一種數據過濾與合并的方法

無效

• 申請號: 200910085036.3
• 申請日: 2009-05-27
• 公開（公告）號: CN101902335A
• 公開（公告）日: 2010-12-01
• 發明（設計）人: 諸葛凌嘯;段文國;王亮
• 申請（專利權）人: 北京啟明星辰信息技術股份有限公司;北京啟明星辰信息安全技術有限公司
• 主分類號: H04L9/36
• 分類號: H04L9/36;H04L29/06
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 龍洪;霍育棟

1.一種數據過濾與合并的方法，包括：

按照數據的類型將數據的結構信息、過濾規則和合并規則存儲在對應的配置文件中；

接收到數據后，根據所接收的數據的類型讀取出對應的配置文件，根據所讀取的配置文件中的結構信息和過濾規則濾除或保留該數據；

若保留該數據，則根據所讀取的配置文件中的結構信息和合并規則將該數據與相應數據進行合并。

2.如權利要求1所述的方法，其特征在于，

所述數據的結構信息包括：數據的各字段的偏移量；

所述過濾規則下包含過濾規則策略，所述過濾規則策略下包含數據中每個字段的字段過濾策略；

所述合并規則下包含合并規則策略，所述合并規則策略下包含數據中每個字段的字段合并策略。

3.如權利要求2所述的方法，其特征在于，所述根據所讀取的配置文件中的結構信息和過濾規則濾除或保留該數據的過程包括：

根據過濾規則下的字段過濾策略查找過濾字段以及過濾條件；

從數據結構信息中查找過濾字段的偏移量，根據接收的數據在內存中存儲的首地址以及過濾字段的偏移量，在內存中查找到該過濾字段的字段值；

判斷所述過濾字段的字段值是否滿足過濾條件，并根據過濾規則策略的過濾模式屬性選擇濾除或保留所接收的數據。

4.如權利要求2所述的方法，其特征在于，所述根據所讀取的配置文件中的結構信息和合并規則將該數據與相應數據進行合并的過程包括：

從數據結構信息中查找接收的數據的每個字段的偏移量，根據該接收的數據在內存中存儲的首地址以及每個字段的偏移量，在內存中查找到每個字段的字段值；

判斷合并隊列中是否存在與接收的數據合并規則策略相同的數據，如果存在，則將接收的數據的每個字段的字段值，按照每個字段的字段合并策略中的合并方式屬性，合并入合并隊列中合并規則策略相同的數據中；否則，將該接收的數據加入合并隊列中。

5.如權利要求3所述的方法，其特征在于，所述字段過濾策略包含使能屬性，該使能屬性標識所述過濾字段，所述字段過濾策略還包含過濾判斷操作、操作數1和操作數2屬性，該過濾判斷操作、操作數1和操作數2屬性表示過濾條件。

6.如權利要求4所述的方法，其特征在于，在進行合并的過程中，從數據結構信息中查找接收的數據的每個字段的偏移量前，還包括：

根據合并規則的字段合并策略的使能屬性查找合并過濾字段以及獲取字段合并策略的過濾判斷操作、操作數1和操作數2屬性作為合并過濾條件；

從數據結構信息中查找合并過濾字段的偏移量，根據接收的數據在內存中存儲的首地址以及合并過濾字段的偏移量，在內存中查找到該合并過濾字段的字段值；

判斷所述合并過濾字段的字段值是否滿足合并過濾條件，并根據合并規則策略的合并過濾模式屬性選擇濾除或保留所接收的數據，如果保留所接收的數據，則進一步執行所述從數據結構信息中查找接收的數據的每個字段的偏移量。

7.如權利要求6所述的方法，其特征在于，

將數據加入合并隊列中后，記錄數據加入合并隊列的時長以及數據隊列中的數據個數；

當合并隊列中的某個數據加入合并隊列的時長等于合并規則中的合并時間間隔時，將該數據存入發送隊列；

當合并隊列中的數據個數滿足合并規則的合并隊列的限制長度后，將合并隊列中的數據存入發送隊列。

8.一種數據過濾的方法，包括：

按照數據的類型將數據的結構信息和過濾規則存儲在對應的配置文件中；

接收到數據后，接收到數據后，根據所接收的數據的類型讀取出對應的配置文件，根據所讀取的配置文件中的結構信息和過濾規則濾除或保留該數據。