[發明專利]一種應用于云審計系統的數據采集裝置

在審

• 申請號: 201710782910.3
• 申請日: 2017-09-03
• 公開（公告）號: CN107645542A
• 公開（公告）日: 2018-01-30
• 發明（設計）人: 謝堯;洪丹軻;楊俊權;徐鍵;張思拓;吳柳
• 申請（專利權）人: 中國南方電網有限責任公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;H04L12/26;G06F17/30
• 代理公司: 北京科億知識產權代理事務所(普通合伙)11350
• 代理人: 湯東鳳

1.一種應用于云審計系統的數據采集裝置，向上外接云審計系統的審計數據中心子系統，向下外接數據源；包括：用于采集日志數據的日志審計子系統和用于采集網絡流量數據的網絡審計子系統；其特征在于：

所述的日志審計子系統包括：用于收集日志數據的日志收集服務器和用于分析處理日志數據的日志分析處理引擎；其特征在于，所述的日志收集服務器還包括：日志采集模塊，用于對外部日志源進行日志數據采集；日志緩存模塊，用于將采集的日志數據進行后續處理的緩存；日志分發模塊，用于根據日志分析處理引擎的審計指令將對應的日志數據分發到日志分析處理引擎；

所述的日志分析處理引擎還包括：日志標準化模塊，用于將采集到的日志數據標準化處理；日志索引模塊，用于將日志數據建立分布式索引；日志關聯分析模塊，用于根據預設的關聯規則庫的規則進行日志數據關聯分析，并根據關聯分析結果對日志數據進行分類入庫；日志數據上報模塊，用于將完成分類入庫的原始日志數據發送到kafka系統；

所述的網絡審計子系統包括：網絡審計處理引擎，用于審計從云數據中采集到的網絡中虛擬機流量和物理機流量；主機流量采集代理，用于采集虛擬機流量并分發至網絡審計處理引擎；網絡流量采集代理，用于采集物理機流量并分發至網絡審計處理引擎；

所述的網絡審計處理引擎還包括：網絡數據處理模塊，用于采用分布式實時在線分析系統對網絡數據進行分布式處理，首先訂閱特征向量主題，將數據從kafka中讀取出來，并進行預處理，將數據序列化為avro形式，然后進行特征向量處理，最后寫入kafka與HDFS；網絡數據規則匹配模塊，用于通過特征向量的DPI標識判斷網絡數據是否為非真實性網絡協議、通過對特征向量與網絡訪問基線進行匹配判斷網絡數據是否為網絡異常、通過對特征向量與服務器外聯基線進行匹配判斷網絡數據是否為服務器違規外聯、通過對特征向量與開放端口基線進行匹配判斷網絡數據是否為異常服務；當任一判斷為異常時，發生報警信息；網絡數據索引模塊，用于對分布式存儲的數據生成分布式索引；策略數據庫，用于存儲審計策略、抓包過濾策略、定向抓包策略；

所述的主機流量采集代理還包括：抓包模塊，用于對外接虛擬機流量源的網絡流量進行抓取并按照過濾策略進行過濾；協議識別模塊，用于識別出網絡流量的源ip、目的ip、源端口、目的端口、網絡層協議、應用層協議；通用特征向量解析模塊，用于按包提取網絡層、傳輸層的信息、提取流信息；對于tcp協議的會話，解析并上報syn包的特征向量；對于udp協議的會話，解析并上報第一個包；對基于流的特征向量進行解析；分發模塊，用于把數據包分發到緩存隊列中；緩存隊列的個數根據配置文件建立，和創建的深度特征向量解析線程匹配，每個深度特征向量解析線程分別對應一個緩存隊列；同一個數據流上的數據包放在同一個緩存隊列中，新建數據流上的數據包在各個緩存隊列中輪流進行選擇；深度特征向量解析模塊，用于啟動一個以上的深度特征向量解析線程，根據數據包的應用類型動態選擇對應的深度特征向量解析插件進行解析；策略接收模塊，用于從策略數據庫讀取抓包過濾策略、從策略數據庫讀取定向抓包策略；并在設定時間間隔更新抓包過濾策略及定向抓包策略；定向抓包模塊，用于執行上位系統發送的定向抓包命令，將抓取的數據包通過數據上報模塊反饋至所述上位系統；數據上報模塊，用于將抓取的數據包通過數據通道反饋到上位系統；把通用特征向量通過數據通道上報給上位系統；把深度特征向量通過數據通道上報上位機；把定向包以pcap文件的形式通過數據通道上報給上位系統，或者以文件的形式存在本地；

所述的網絡流量采集代理結構與主機流量采集代理相同，抓包的采集對象為外接的物理機流量源。

2.根據權利要求1所述的數據采集裝置，其特征在于，所述的日志采集模塊通過回調函數處理每一條日志，判斷日志是否正確，解析日志結構，通過TcpSocket發送到日志關聯分析模塊。

3.根據權利要求1所述的數據采集裝置，其特征在于，所述的日志標準化模塊使用分布式實時在線分析系統(Storm)對日志進行分布式標準化處理；首先訂閱日志主題，將數據從kafka系統中讀取出來，并進行預處理，將數據序列化為avro形式，然后進行日志標準化，將日志數據對應相應插件類型進行標準化，最后寫入kafka與HDFS。