[發明專利]一種應用于云審計系統的數據采集裝置

在審

• 申請號: 201710782910.3
• 申請日: 2017-09-03
• 公開（公告）號: CN107645542A
• 公開（公告）日: 2018-01-30
• 發明（設計）人: 謝堯;洪丹軻;楊俊權;徐鍵;張思拓;吳柳
• 申請（專利權）人: 中國南方電網有限責任公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;H04L12/26;G06F17/30
• 代理公司: 北京科億知識產權代理事務所(普通合伙)11350
• 代理人: 湯東鳳

技術領域

本發明涉及一種云應用的數據采集裝置，尤其涉及一種應用于云審計系統的數據采集裝置。

背景技術

云計算是一種全新的領先信息技術，其結合IT技術和互聯網實現超級計算和高存儲能力。推動云計算興起的動力是高速互聯網、虛擬化技術、更加廉價且功能強勁的芯片及硬盤以及數據中心等技術的發展。云計算可以看作是分布式計算、并行計算、效用計算、網絡存儲、虛擬化以及負載均衡等傳統計算機和網絡技術發展融合的產物。云計算涉及的關鍵技術有很多，包括：通信、大規模分布式存儲技術、海量數據處理技術、資源管理和虛擬化技術等。大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。大數據具有4V特點：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。“移動互聯網 +”的到來，意味著跨界融合，創新驅動，重塑結構，尊重人性，開放生態的時代到來。“移動互聯網 +”就是“互聯網”+ 各個傳統行業，利用計算機技術、信息通信技術、云計算技術以及互聯網平臺，讓互聯網與傳統行業進行深度融合，創造新的發展業態。大數據、云計算時代已經滲透到諸多行業和業務職能領域，成為重要的組成部分。根據權威的NIST定義，現有的云計算主要分為三種服務模式，分別是基礎設施即服務IAAS(infrastructure as a service)，主要為用戶提供基礎設施服務，包括計算機、服務器、防火墻、存儲設備和網絡設備等；平臺即服務 PAAS(platform as a service)，主要為用戶提供應用程序開發、測試和部署平臺，即是將一個完整的系統平臺，包括應用設計、應用開發、應用測試、應用部署和應用托管，都作為一種服務提供給用戶；軟件即服務SAAS(software as a service)，主要是為用戶提供應用程序等軟件。可以說，云計算這三種服務模式都是從硬件設備的角度出發的。

對于電網大數據系統的審計工作量巨大，被審計數據不夠全面，因此目前的審計系統根本無法完成電網大數據系統的審計需求。

發明內容

為了解決上述技術問題，本發明目的在于提供一種應用于云審計系統的數據采集裝置。

本發明所述的一種應用于云審計系統的數據采集裝置，向上外接云審計系統的審計數據中心子系統，向下外接數據源；包括：用于采集日志數據的日志審計子系統和用于采集網絡流量數據的網絡審計子系統；其特征在于：

所述的日志審計子系統包括：用于收集日志數據的日志收集服務器和用于分析處理日志數據的日志分析處理引擎；其特征在于，所述的日志收集服務器還包括：日志采集模塊，用于對外部日志源進行日志數據采集；日志緩存模塊，用于將采集的日志數據進行后續處理的緩存；日志分發模塊，用于根據日志分析處理引擎的審計指令將對應的日志數據分發到日志分析處理引擎；

所述的日志分析處理引擎還包括：日志標準化模塊，用于將采集到的日志數據標準化處理；日志索引模塊，用于將日志數據建立分布式索引；日志關聯分析模塊，用于根據預設的關聯規則庫的規則進行日志數據關聯分析，并根據關聯分析結果對日志數據進行分類入庫；日志數據上報模塊，用于將完成分類入庫的原始日志數據發送到kafka系統；

所述的網絡審計子系統包括：網絡審計處理引擎，用于審計從云數據中采集到的網絡中虛擬機流量和物理機流量；主機流量采集代理，用于采集虛擬機流量并分發至網絡審計處理引擎；網絡流量采集代理，用于采集物理機流量并分發至網絡審計處理引擎；

所述的網絡審計處理引擎還包括：網絡數據處理模塊，用于采用分布式實時在線分析系統對網絡數據進行分布式處理，首先訂閱特征向量主題，將數據從kafka中讀取出來，并進行預處理，將數據序列化為avro形式，然后進行特征向量處理，最后寫入kafka與HDFS；網絡數據規則匹配模塊，用于通過特征向量的DPI標識判斷網絡數據是否為非真實性網絡協議、通過對特征向量與網絡訪問基線進行匹配判斷網絡數據是否為網絡異常、通過對特征向量與服務器外聯基線進行匹配判斷網絡數據是否為服務器違規外聯、通過對特征向量與開放端口基線進行匹配判斷網絡數據是否為異常服務；當任一判斷為異常時，發生報警信息；網絡數據索引模塊，用于對分布式存儲的數據生成分布式索引；策略數據庫，用于存儲審計策略、抓包過濾策略、定向抓包策略；