[發(fā)明專利]一種基于流數(shù)據(jù)分析的Web攻擊實(shí)時(shí)在線檢測(cè)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710403981.8
• 申請(qǐng)日: 2017-06-01
• 公開（公告）號(hào): CN107172058B
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 田建偉;田崢;黎曦;喬宏;朱宏宇;漆文輝;薛海偉;鄧杰
• 申請(qǐng)（專利權(quán)）人: 國(guó)家電網(wǎng)公司;國(guó)網(wǎng)湖南省電力公司;國(guó)網(wǎng)湖南省電力公司電力科學(xué)研究院
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;H04L29/08
• 代理公司: 長(zhǎng)沙市融智專利事務(wù)所(普通合伙) 43114
• 代理人: 歐陽迪奇

本發(fā)明公開了一種基于流數(shù)據(jù)分析的Web攻擊實(shí)時(shí)在線檢測(cè)系統(tǒng)，包括日志數(shù)據(jù)采集客戶端、日志數(shù)據(jù)緩存集群和流數(shù)據(jù)檢測(cè)集群；本發(fā)明的技術(shù)效果在于，采用多緩存隊(duì)列，實(shí)時(shí)在線采集信息系統(tǒng)應(yīng)用日志，能夠防止黑客完成攻擊后清除日志數(shù)據(jù)；采用集群框架設(shè)計(jì)，整個(gè)安全日志數(shù)據(jù)處理流程由志數(shù)據(jù)緩存集群和流數(shù)據(jù)檢測(cè)集群組成，能夠?qū)崿F(xiàn)負(fù)載均衡和解決單點(diǎn)故障，提高數(shù)據(jù)處理的實(shí)時(shí)性和可靠性；采用基于動(dòng)態(tài)時(shí)間窗口的流數(shù)據(jù)分析方法，能夠根據(jù)不同的場(chǎng)景，動(dòng)態(tài)調(diào)整時(shí)間窗口閾值，提高數(shù)據(jù)融合的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于流數(shù)據(jù)分析的Web攻擊實(shí)時(shí)在線檢測(cè)系統(tǒng)。

背景技術(shù)

隨著Web技術(shù)的發(fā)展，大量的信息系統(tǒng)部署在網(wǎng)絡(luò)上對(duì)外提供服務(wù)。信息系統(tǒng)在為信息發(fā)布和交互帶來便利的同時(shí)，針對(duì)系統(tǒng)的Web攻擊越來越多，系統(tǒng)安全已成為一個(gè)日益重要的問題。根據(jù)國(guó)家互聯(lián)網(wǎng)應(yīng)急中心發(fā)布《中國(guó)互聯(lián)網(wǎng)站發(fā)展?fàn)顩r及其安全報(bào)告(2016)》顯示，針對(duì)信息系統(tǒng)的SQL注入、網(wǎng)頁(yè)篡改、網(wǎng)站后門等Web攻擊事件層出不窮，黨政機(jī)關(guān)、科研機(jī)構(gòu)、重要行業(yè)單位網(wǎng)站是黑客組織攻擊的重點(diǎn)目標(biāo)。對(duì)于采用技術(shù)手段繞過防火墻的入侵攻擊，防火墻無法檢測(cè)和告警。信息系統(tǒng)的應(yīng)用服務(wù)器有記錄用戶訪問行為的日志數(shù)據(jù)，包括用戶操作行為、訪問請(qǐng)求和系統(tǒng)錯(cuò)誤異常等。因此要全面掌握系統(tǒng)安全狀況，及時(shí)定位Web攻擊，實(shí)時(shí)分析信息系統(tǒng)日志數(shù)據(jù)非常必要。

黑客在獲得控制權(quán)后會(huì)立即竊取篡改數(shù)據(jù)或?qū)嵤┢茐男袨椋瓿晒艉蠛苡锌赡芮宄肭趾圹E。因此，第一時(shí)間發(fā)現(xiàn)Web攻擊行為十分重要，特別是對(duì)于規(guī)模龐大的信息系統(tǒng)或者數(shù)據(jù)中心，Web攻擊檢測(cè)方法必須要支持海量的日志數(shù)據(jù)實(shí)時(shí)在線檢測(cè)。當(dāng)前關(guān)于Web攻擊的檢測(cè)方法側(cè)重于研究攻擊檢測(cè)方法的準(zhǔn)確性和完備性。專利(CN201510889266.0)“一種Web攻擊檢測(cè)方法和裝置”公開了一種Web攻擊檢測(cè)方法。該方法實(shí)現(xiàn)了基于URL正常行為模型的Web攻擊檢測(cè)。但是該方法沒有考慮Web攻擊的實(shí)時(shí)檢測(cè)需求，難以滿足海量日志數(shù)據(jù)分析的實(shí)時(shí)性要求。

發(fā)明內(nèi)容

針對(duì)以上問題，本發(fā)明提出了一種基于流數(shù)據(jù)分析的Web攻擊實(shí)時(shí)在線檢測(cè)系統(tǒng)。包括采用多緩存隊(duì)列，在線采集和分發(fā)應(yīng)用服務(wù)器日志數(shù)據(jù)；采用集群式處理架構(gòu)設(shè)計(jì)，動(dòng)態(tài)調(diào)配分析節(jié)點(diǎn)負(fù)載，保障海量日志數(shù)據(jù)分析的實(shí)時(shí)性和可靠性；采用基于動(dòng)態(tài)時(shí)間窗口的流數(shù)據(jù)分析方法，實(shí)時(shí)檢測(cè)攻擊事件。本發(fā)明能夠提高應(yīng)用服務(wù)器日志分析處理能力和時(shí)效性，提高Web攻擊檢測(cè)的及時(shí)性，提高信息系統(tǒng)的安全性。

為了實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是，

一種基于流數(shù)據(jù)分析的Web攻擊實(shí)時(shí)在線檢測(cè)系統(tǒng)，包括日志數(shù)據(jù)采集客戶端、日志數(shù)據(jù)緩存集群和流數(shù)據(jù)檢測(cè)集群；所述的日志數(shù)據(jù)采集客戶端是將信息系統(tǒng)應(yīng)用服務(wù)器日志封裝成Syslog消息格式的客戶端軟件；所述的日志數(shù)據(jù)緩存集群由至少兩個(gè)日志數(shù)據(jù)緩存模塊組成，通過以太網(wǎng)與日志數(shù)據(jù)采集客戶端、流數(shù)據(jù)檢測(cè)集群連接；所述的流數(shù)據(jù)檢測(cè)集群由至少兩個(gè)流數(shù)據(jù)檢測(cè)模塊組成；

所述的日志數(shù)據(jù)緩存模塊包括分發(fā)線程、維護(hù)線程和至少一個(gè)緩沖隊(duì)列；分發(fā)線程接收來自日志數(shù)據(jù)采集客戶端的Syslog消息，并轉(zhuǎn)化為統(tǒng)一格式的消息對(duì)象，再將消息對(duì)象分發(fā)到緩存隊(duì)列，維護(hù)線程用于清理緩沖隊(duì)列中不符合要求的消息對(duì)象；

所述的流數(shù)據(jù)檢測(cè)模塊包括流數(shù)據(jù)生產(chǎn)模塊、流數(shù)據(jù)一級(jí)處理模塊、流數(shù)據(jù)二級(jí)處理模塊和流數(shù)據(jù)三級(jí)處理模塊；流數(shù)據(jù)生產(chǎn)模塊提取日志數(shù)據(jù)緩存模塊的消息對(duì)象，并轉(zhuǎn)化為統(tǒng)一格式的流數(shù)據(jù)單元；流數(shù)據(jù)一級(jí)處理模塊采用wu-manber多模匹配算法檢測(cè)流數(shù)據(jù)單元中是否含有攻擊特征關(guān)鍵字，將含有特征關(guān)鍵字的流數(shù)據(jù)單元發(fā)送到流數(shù)據(jù)二級(jí)處理模塊中；流數(shù)據(jù)二級(jí)處理模塊采用流數(shù)據(jù)分析模型，去除重復(fù)的攻擊事件，統(tǒng)計(jì)攻擊次數(shù)，并將融合的攻擊事件檢測(cè)結(jié)果發(fā)送至流數(shù)據(jù)三級(jí)檢測(cè)模塊；流數(shù)據(jù)三級(jí)檢測(cè)模塊將檢測(cè)結(jié)果存入關(guān)系數(shù)據(jù)庫(kù)中。

所述的一種基于流數(shù)據(jù)分析的Web攻擊實(shí)時(shí)在線檢測(cè)系統(tǒng)，所述的分發(fā)線程將Syslog消息轉(zhuǎn)化成格式為消息頭，消息體，表示為head,body的統(tǒng)一格式的消息對(duì)象。