[發明專利]一種大規模分布式網絡安全數據采集方法與系統

在審

• 申請號: 201310572103.0
• 申請日: 2013-11-15
• 公開（公告）號: CN103731298A
• 公開（公告）日: 2014-04-16
• 發明（設計）人: 郭旭東;王紅艷;胡佳;李玉鵬;沈艷林;石波;李紅
• 申請（專利權）人: 中國航天科工集團第二研究院七〇六所;北京航天愛威電子技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26;H04L29/06
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.一種大規模分布式網絡安全數據采集方法，包括以下步驟：

步驟一，多方式數據采集；

步驟二，數據解析與標準化；

步驟三，數據分發傳輸；

其特征在于：

步驟一所述多方式數據采集采取以下4種方式：

方式一：主動模式；在數據生產地部署采集代理的方法采集指定數據；采集代理工作機制為：對指定目錄下的文件進行監聽，按照可配置的時間間隔，對該目錄下發生更新的文件進行增量讀取，同時對該文件的最新讀取位置進行更新和維護，避免文件中數據的重復讀取；針對以數據庫形式存儲的原始數據，通過ODBC/JDBC通用協議獲取原始事件，無需在數據生產地部署采集代理；

方式二：被動模式；原始數據產生后，通過Syslog、Snmp、WebService方式發送給指定的數據接收者；對于數據采集系統，僅需要被動接收數據；

方式三：來自上一級采集系統發送的數據；

方式四：鏡像模式；通過網絡交換設備的鏡像端口，接收來自網絡中傳輸的任何網絡訪問流；

步驟二所述數據解析采用基于策略文檔的方式對日志進行解析，實現對新增設備的支持；針對每一個具體的設備或系統，收集重點關注的日志類型的典型樣例制定解析策略；當信息系統中有新增設備或原有設備的日志格式發生變更時，收集新增設備的日志格式或原設備變更的日志格式制定或修改解析策略；

步驟三所述數據分發傳輸還包括以下步驟：

（1）設置分發策略：提供數據復制和數據路由兩種分發模式；

（2）建立數據緩存單元，分發各類數據：為每一類上層應用建立一個數據緩存單元，緩存標準化后的數據，防止數據生成過快而上層應用系統接收速率過慢導致數據丟失；

（3）數據傳輸：提供面向關系型數據庫RDB、分布式存儲系統HDFS/HBASE、內存數據庫Redis、下級數據采集系統的目標傳輸數據的功能，滿足不同業務應用系統需求。

2.根據權利要求1所述的一種大規模分布式網絡安全數據采集方法，其特征在于，所述解析策略依據數據源的形式不同有所區別，主要有兩種：一種是針對以文件形式存儲或以數據流形式傳輸的原始日志，策略文檔為一系列解析正值表達式構成的XML文檔；另一種是針對以數據庫形式存儲的原始日志，策略文檔為一系列SQL語句與解析正值表達式構成的XML文檔。

3.根據權利要求1或2所述的一種大規模分布式網絡安全數據采集方法，其特征在于，所述解析策略除了具有兩個傳統的解析功能外，又提供了以下三個方面的功能：

（1）對原有日志的特殊符號或字段依據字典表進行替換；允許將廠商自己專有的字典表放入到解析策略文件中，對特殊符號和字段進行對照解析；

（2）對原有日志依據預先設定值進行補充完善；解析策略文件允許通過源IP地址關聯的方式，為原有日志添加附加信息；

（3）多標準數據重構；允許在解析策略文件中描述不同格式的數據標準，為不同的上層應用系統構建不同的標準化數據。

4.一種大規模分布式網絡安全數據采集系統，其特征在于包括：采集代理模塊，數據采集模塊，數據解析模塊，數據分發傳輸模塊；其中，

采集代理模塊，部署在數據生產地，采集并傳輸指定數據；

數據采集模塊，用于從網絡中分散的各類數據源采集原始數據，并轉發給數據解析模塊；

數據解析模塊，從數據采集模塊獲取到原始數據后，按照預先配置的解析策略對原始數據進行解析和標準化，并結合分發策略，將標準化的數據分發給分發傳輸模塊；

數據分發傳輸模塊，依據分發策略對標準化數據進行分組緩存，并依據轉發策略向多個不同的傳輸目標進行數據傳輸。

5.根據權利要求4所述的一種大規模分布式網絡安全數據采集系統，其特征在于，所述數據采集系統在多級復雜網絡環境下采用級聯部署、多路分發的體系架構。