[發明專利]一種分布式事件采集探針、分布式事件高速采集系統及方法

在審

• 申請號: 201711072941.6
• 申請日: 2017-11-04
• 公開（公告）號: CN107864056A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 李明;陶源
• 申請（專利權）人: 公安部第三研究所
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/06
• 代理公司: 上海天翔知識產權代理有限公司31224
• 代理人: 劉常寶

1.分布式事件采集探針，其特征在于，包括若干事件采集探針，若干事件采集探針基于自適應算法分布在管理域中的適當位置，每個事件采集探針支持多種傳輸機制，都采用多種傳輸機制接收設備發送的日志，統一發送給規則引擎，進行篩選過濾。

2.根據權利要求1所述的分布式事件采集探針，其特征在于，分布式事件采集探針可針對網絡的變化進行局部事件采集探針分布的動態調整；事件采集探針可以根據網絡環境特點，選擇最佳傳輸協議。

3.根據權利要求1所述的分布式事件采集探針，其特征在于，分布式事件采集探針使用基于編碼的遺傳算法進行采集探針的工作部署；所有事件采集探針均獨立工作，并行處理接收的日志并進行轉發。

4.根據權利要求1所述的分布式事件采集探針，其特征在于，事件采集探針通過被動監聽端口采集相應的日志數據。

5.分布式事件高速采集系統，其特征在于，包括：權利要求1-4中任一項所述的事件采集探針和分析平臺，事件采集探針向分析平臺進行注冊；所述分析平臺可監測并控制事件采集探針的運行狀態，且可向事件采集探針下發管理策略，事件采集探針根據管理策略接收設備發送過來的日志和/或流量數據，并傳輸到規則引擎，規則引擎通過規則進行選擇過濾，產生相關告警信息，并將告警信息以及篩選后的數據發送到分析平臺的ES中。

6.根據權利要求5所述的分布式事件高速采集系統，其特征在于，所述分析平臺采用基于時間差的心跳策略以及雙向交替通信的方式來實時監測事件采集探針的運行狀態。

7.根據權利要求5所述的分布式事件高速采集系統，其特征在于，所述分析平臺根據事件采集探針注冊主動上報的設備狀態信息，基于遺傳算法的篩選出需要的事件采集探針，以向其發送管理策略，調整工作狀態。

8.根據權利要求7所述的分布式事件高速采集系統，其特征在于，所述分析平臺通過事件采集探針注冊上報的設備狀態信息，以及負載情況，為每一個事件采集探針設置一個格雷碼編碼，并采用無回放隨機選擇為選擇算子，以及算術交叉的交叉方式，進行高斯近似變異，得到最優的事件采集探針種群個體，并記錄下事件采集探針個體，將管理策略下發到對應的事件采集探針。

9.根據權利要求5所述的分布式事件高速采集系統，其特征在于，所述系統對于新增設備類型可通過加載配置文件的方式進行快速支持；所述系統通過XSD文件，定義不同設備類型設備需要傳輸的指標參數，在新增設備類型時，只需要將對應設備類型的指標項在XSD文件中注冊，系統通過OTA升級來根據XSD文件對新添加設備的XML配置文件進行動態加載解析。

10.分布式事件高速采集方法，其特征在于，包括：

設備通過配置發送地址后，基于相應的通信協議將日志和/或流量數據發送至接收服務器，該接收服務器在部署時將地址設為相應平臺的事件采集探針的地址；

事件采集探針采集相應的日志和/或流量數據，并將事件采集探針采集的數據進行處理和文件存儲。

11.根據權利要求10所述的分布式事件高速采集方法，其特征在于，跨域部署多個事件采集探針，在網絡環境復雜的區域，重點部署，而網絡環境較簡單的區域簡單部署，所有事件采集探針均向分析平臺發送注冊信息，事件采集探針管理器會根據事件采集探針上報的狀態信息，為每個事件采集探針設置編碼，從而根據遺傳算法選擇哪些事件采集探針進行工作，下發相關策略，所有的事件采集探針均獨立工作，并行處理接收的日志并轉發到分析平臺的規則引擎進行進一步的過濾篩選，最后存儲到大數據引擎ES中，根據業務需求，將數據可視化呈現。