[發(fā)明專利]一種分離式多級緩沖網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)及方法

無效

• 申請?zhí)枺?/td>: 200910023502.5
• 申請日: 2009-08-04
• 公開（公告）號: CN101989916A
• 公開（公告）日: 2011-03-23
• 發(fā)明（設(shè)計）人: 趙衛(wèi)棟
• 申請（專利權(quán)）人: 西安交大捷普網(wǎng)絡(luò)科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/06
• 代理公司: 西安新思維專利商標(biāo)事務(wù)所有限公司 61114
• 代理人: 黃秦芳

技術(shù)領(lǐng)域：

本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體涉及一種分離式多級緩沖網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)及方法。

背景技術(shù)：

隨著科技進(jìn)步和人類文明的發(fā)展，以互聯(lián)網(wǎng)為代表的信息技術(shù)革命深刻的沖擊和改變著社會生活和生產(chǎn)的各個領(lǐng)域。然而在互聯(lián)網(wǎng)提高效率從而創(chuàng)造巨大價值的同時，也給我們帶來了不可避免的問題：淫穢色情反動內(nèi)容的泛濫，企業(yè)技術(shù)資料商業(yè)機(jī)密泄露，員工上班時間從事與工作無關(guān)的網(wǎng)絡(luò)娛樂活動等成為我們亟待解決的問題。

隨之產(chǎn)生了網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)，現(xiàn)有的網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)一般包括抓包組流模塊和應(yīng)用協(xié)議解析過濾模塊兩部分。網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)的的工作原理是：先在交換機(jī)鏡像口監(jiān)聽數(shù)據(jù)報文，然后進(jìn)行協(xié)議分析，流重組，發(fā)送流到內(nèi)容過濾器進(jìn)行應(yīng)用協(xié)議的解析和內(nèi)容過濾。現(xiàn)有技術(shù)存在的問題是：1、組流模塊到內(nèi)容內(nèi)容過濾模塊只有發(fā)送隊列一級緩沖，無法應(yīng)付高負(fù)載情況下的海量數(shù)據(jù)處理；2、組流模塊進(jìn)行流重組的數(shù)據(jù)是在內(nèi)存中由應(yīng)用程序維護(hù)，操作復(fù)雜、穩(wěn)定性不高；3、組流模塊與內(nèi)容過濾模塊之間大量數(shù)據(jù)需要進(jìn)行一次轉(zhuǎn)發(fā)增加了CPU和IO的開銷同時容易出現(xiàn)通信失敗，導(dǎo)致系統(tǒng)不穩(wěn)定；4、協(xié)議處理和內(nèi)容過濾沒有基于每個流獨立處理，無法應(yīng)付丟包和特殊情況發(fā)生。

發(fā)明內(nèi)容：

本發(fā)明的目的是提供一種分離式多級緩沖網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)及方法，以克服現(xiàn)有系統(tǒng)中的穩(wěn)定性差，負(fù)載、處理性能較低的問題。

一種分離式多級緩沖網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)，包括流重組模塊、協(xié)議處理模塊、內(nèi)容過濾模塊和日志服務(wù)模塊；

組流模塊負(fù)責(zé)捕獲網(wǎng)絡(luò)報文，進(jìn)行協(xié)議解碼，tcp協(xié)議棧處理，組成流文件存儲到內(nèi)存文件系統(tǒng)中，并通過管道向協(xié)議處理模塊發(fā)送消息；

協(xié)議處理模塊負(fù)責(zé)對流文件進(jìn)行處理，解析出ip地址，端口，郵件地址、主題、正文、附件等內(nèi)容，并把這些文件存儲的指定目錄，同時在另一對應(yīng)的目錄建立鏈接文件；

模式匹配模塊監(jiān)控鏈接文件目錄，當(dāng)有新的鏈接文件建立時就會受到信號同時獲得文件名稱，打開該文件進(jìn)行多模式匹配處理，最后把處理的結(jié)果發(fā)送給日志服務(wù)模塊；

日志服務(wù)模塊接受日志消息根據(jù)不同的消息類型掛載到不同的隊列，各隊列處理線程從各自對列取出消息存儲到數(shù)據(jù)庫。

一種分離式多級緩沖網(wǎng)絡(luò)內(nèi)容過濾方法：包括以下幾個步驟：

步驟一：組流模塊建立流文件并寫文件名進(jìn)管道：組流模塊在網(wǎng)絡(luò)接口捕獲數(shù)據(jù)包存入隊列，該組流模塊的協(xié)議處理線程是：從隊列讀取數(shù)據(jù)進(jìn)行數(shù)據(jù)鏈路層解碼，ip協(xié)議處理，tcp流重組處理以流文件的方式存儲到內(nèi)存文件系統(tǒng)，并把時間相關(guān)的文件名發(fā)送到系統(tǒng)命名管道；

步驟二：協(xié)議模塊處理流文件產(chǎn)生真實文件和鏈接：主進(jìn)程監(jiān)聽命名管道，協(xié)議分析模塊從系統(tǒng)命名管道一次讀取當(dāng)前管道內(nèi)的所有數(shù)據(jù)，并動態(tài)創(chuàng)建子進(jìn)程，并把讀到的文件名交給子進(jìn)程處理，子進(jìn)程通過文件名讀取內(nèi)存文件系統(tǒng)中的文件還原出http或smtp等應(yīng)用協(xié)議的正文和附件，并存儲這些文件到真實的日志目錄；同時在一個動態(tài)監(jiān)控目錄下建立指向真實文件并和真實文件同名的鏈接文件，處理完成子進(jìn)程刪除內(nèi)存文件系統(tǒng)中處理過的流文件然后退出；

步驟三：內(nèi)容模塊讀取鏈接文件進(jìn)行內(nèi)容過濾：內(nèi)容處理模塊監(jiān)控動態(tài)目錄下產(chǎn)生鏈接文件的系統(tǒng)信號獲取新增加的文件名，讀取鏈接文件內(nèi)容進(jìn)行文件格式轉(zhuǎn)換，統(tǒng)一中文編碼處理然后通過多模式匹配引擎進(jìn)行內(nèi)容過濾，過濾結(jié)果通過本地unixsock發(fā)送到日志服務(wù)進(jìn)程，然后刪除動態(tài)目錄下即步驟二產(chǎn)生的鏈接文件；

步驟四：日志模塊入隊列并根據(jù)對立優(yōu)先級處理：日志服務(wù)模塊接受日志消息，根據(jù)消息類型存儲到不同優(yōu)先級的日志隊列，由數(shù)據(jù)庫訪問線程根據(jù)策略從對列中取日志存儲到數(shù)據(jù)庫。

與現(xiàn)有技術(shù)比較，本發(fā)明的優(yōu)點是：基于流個數(shù)動態(tài)進(jìn)程生成和消亡管理，利用了linux內(nèi)存文件系統(tǒng)創(chuàng)建流文件，巧妙利用文件關(guān)閉時的系統(tǒng)信號機(jī)制以及鏈接的原理；采用分離式模塊處理以及模塊內(nèi)具體處理和流程處理分離，降低了系統(tǒng)間耦合，增加了系統(tǒng)的穩(wěn)定性容錯性；系統(tǒng)采用多級緩沖方式處理，減小了系統(tǒng)內(nèi)部反壓，增強(qiáng)了系統(tǒng)處理性能；采用內(nèi)存文件系統(tǒng)，即管理簡單又具有很高的訪問速度；巧妙利用連接文件和系統(tǒng)文件信號減少了一次磁盤文件拷貝。

附圖說明：

附圖為本發(fā)明的過濾方法流程圖。

具體實施方式：

參見附圖，一種分離式多級緩沖網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)包括流重組模塊、協(xié)議處理模塊、內(nèi)容過濾模塊和日志服務(wù)模塊；

組流模塊負(fù)責(zé)捕獲網(wǎng)絡(luò)報文，進(jìn)行協(xié)議解碼，tcp協(xié)議棧處理，組成流文件存儲到內(nèi)存文件系統(tǒng)中，并通過管道向協(xié)議處理模塊發(fā)送消息；