[發(fā)明專利]內(nèi)容過濾方法和裝置

有效

• 申請?zhí)枺?/td>: 201210223008.5
• 申請日: 2012-06-30
• 公開（公告）號: CN102857493A
• 公開（公告）日: 2013-01-02
• 發(fā)明（設(shè)計）人: 尤里·哈桑;艾維·菲爾;莫默
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 劉芳

技術(shù)領(lǐng)域

本發(fā)明實施例涉及數(shù)據(jù)處理技術(shù)，尤其涉及一種內(nèi)容過濾方法和裝置。

背景技術(shù)

互聯(lián)網(wǎng)作為全球最大的信息中心，正以驚人的速度發(fā)展壯大，但是其中的信息良莠不齊，存在為數(shù)不少的不良網(wǎng)站、不良資源。另外還存在一些包含惡意軟件的可疑網(wǎng)站，會威脅到用戶的個人隱私甚至破壞用戶的電腦。

為避免不良信息的危害，現(xiàn)有技術(shù)采用了基于應用層協(xié)議的內(nèi)容過濾技術(shù)對網(wǎng)頁進行過濾。例如，對于企業(yè)網(wǎng)網(wǎng)關(guān)來說，可以通過配置過濾策略來過濾某些類型內(nèi)容的網(wǎng)頁，從而達到限制企業(yè)網(wǎng)內(nèi)部用戶進行禁止的行為，例如禁止訪問不良網(wǎng)站或觀看在線電影等。

現(xiàn)有技術(shù)典型是通過超文本傳輸協(xié)議（Hyper?Text?Transfer?Protocol，簡稱HTTP）請求消息中的目標統(tǒng)一資源定位符（Uniform?Universal?Resource?Locator，簡稱URL）地址來對目標網(wǎng)站進行分類。如果發(fā)現(xiàn)網(wǎng)頁屬于應該過濾的種類，例如色情、暴力等，則把HTTP請求重定向到另外一個提示頁面，或者直接把網(wǎng)絡(luò)連接斷開。

現(xiàn)有內(nèi)容過濾技術(shù)一般是由用戶預先設(shè)定規(guī)則條件和過濾條件，采用預編譯的過濾器對請求打開網(wǎng)頁的URL地址與規(guī)則條件相匹配，對與規(guī)則條件匹配一致的URL地址，再按照過濾條件進行阻斷或放行等處理。規(guī)則條件例如可以為“if?URL含有sina”、“if?URL等于www.abc.com”等單個的字符串匹配條件，各條規(guī)則條件可以基于確定有限狀態(tài)自動機（Deterministic?Finite-State?Automata，簡稱DFA）算法形成DFA圖，各網(wǎng)頁地址基于DFA圖進行精確匹配以判斷是否與規(guī)則條件一致。過濾條件例如可以為“當滿足“if?URL含有sina”時就執(zhí)行將網(wǎng)頁放行的策略”，或“當滿足“if?URL等于www.abc.com”時就將該網(wǎng)頁阻斷或重定向的策略”。所以需要將與規(guī)則條件匹配一致的網(wǎng)頁地址進一步在過濾條件中匹配，以便確定該執(zhí)行哪種處理策略。

但是，現(xiàn)有技術(shù)的這種內(nèi)容過濾技術(shù)存在較大缺陷。對URL地址進行內(nèi)容過濾采用的規(guī)則條件匹配方法是通過采用DFA圖進行的，當規(guī)則條件的數(shù)量太多或者要求支持復雜規(guī)則條件配置，例如包括通配符的正則表達式型，諸如“.*/abc.*/news”、“.*/.www/.domain.*/.com”等，則會遇到耗用大量內(nèi)存的問題。這個是DFA算法的主要缺點，現(xiàn)有技術(shù)可以采用壓縮的DFA，如D2FA（Delayed?DFA）算法代替標準DFA進行匹配，但是會造成匹配性能低下，因為D2FA算法的時間效率比標準DFA低好幾倍。

所以，如何兼顧內(nèi)容過濾技術(shù)中內(nèi)存占用量和匹配性能，成為現(xiàn)有技術(shù)中需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種內(nèi)容過濾方法和裝置，以減小內(nèi)容過濾的內(nèi)存占用且獲得良好的匹配效果。

本發(fā)明實施例提供了一種內(nèi)容過濾方法，包括：

從輸入的一條或多條規(guī)則條件中分別提取關(guān)鍵字；

根據(jù)提取的關(guān)鍵字對所述一條或多條規(guī)則條件劃分成一個或多個分組，使得同一分組中的規(guī)則條件具有相同的關(guān)鍵字，并為所述提取的關(guān)鍵字預編譯分組匹配數(shù)據(jù)集合；

分別為所述提取的關(guān)鍵字中的各關(guān)鍵字對應分組的規(guī)則條件預編譯精確匹配數(shù)據(jù)集合；

獲取待過濾內(nèi)容；

利用所述分組匹配數(shù)據(jù)集合，對所述待過濾內(nèi)容進行關(guān)鍵字的匹配,得到匹配到的關(guān)鍵字；

利用匹配到的關(guān)鍵字對應分組的規(guī)則條件的精確匹配數(shù)據(jù)集合，對所述待過濾內(nèi)容進行規(guī)則條件的精確匹配；

根據(jù)所述精確匹配的匹配結(jié)果執(zhí)行與所述匹配結(jié)果對應的過濾策略。

本發(fā)明實施例還提供了一種內(nèi)容過濾裝置，包括內(nèi)容獲取模塊、內(nèi)容過濾模塊和策略實施模塊，其中，

所述內(nèi)容獲取模塊，用于獲取待過濾內(nèi)容；

所述內(nèi)容過濾模塊包括：

關(guān)鍵字提取單元，用于從輸入的一條或多條規(guī)則條件中分別提取關(guān)鍵字；

分組編譯單元，用于根據(jù)提取的關(guān)鍵字對所述一條或多條規(guī)則條件劃分成一個或多個分組，使得同一分組中的規(guī)則條件具有相同的關(guān)鍵字，并為所述提取的關(guān)鍵字預編譯分組匹配數(shù)據(jù)集合；

規(guī)則條件編譯單元，用于分別為所述提取的關(guān)鍵字中的各關(guān)鍵字對應分組的規(guī)則條件預編譯精確匹配數(shù)據(jù)集合；

分組匹配單元，用于利用所述分組匹配數(shù)據(jù)集合，對所述待過濾內(nèi)容進行關(guān)鍵字的匹配,得到匹配到的關(guān)鍵字；

規(guī)則條件匹配單元，用于利用匹配到的關(guān)鍵字對應分組的規(guī)則條件的精確匹配數(shù)據(jù)集合，對所述待過濾內(nèi)容進行規(guī)則條件的精確匹配；