[發(fā)明專利]基于關鍵詞權值的文本過濾方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210479196.8
• 申請日: 2012-11-22
• 公開（公告）號: CN103838710B
• 公開（公告）日: 2016-11-30
• 發(fā)明（設計）人: 粟栗;張峰;付俊
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 余朦;楊莘

技術領域

本申請涉及安全、數(shù)據(jù)業(yè)務領域，尤其涉及基于關鍵詞權值的文本過濾方法與系統(tǒng)。

背景技術

文本信息是移動互聯(lián)網(wǎng)信息中傳播數(shù)量最多的內容，包括：網(wǎng)頁、短信、彩信、即時通信工具等。對文本傳輸中的敏感內容進行信息過濾（例如政治、色情、賭博…）是互聯(lián)網(wǎng)中的一項重要技術。一般來說，系統(tǒng)會將文本歸類為“正常”和“需要過濾”兩類。

從信息量上看，每條鏈路（10G）上每天用戶訪問的文本數(shù)據(jù)量多達數(shù)億條，全網(wǎng)有數(shù)千億條數(shù)據(jù)，而其中需要過濾的信息占比非常少，一般少于1%，因此從海量數(shù)據(jù)中準確捕獲待過濾信息是困難的。即使有少量的誤判（10%），也使得系統(tǒng)捕獲到的數(shù)據(jù)中誤判的信息占比達90%以上。為了避免誤判，需要通過人工二次審核來最終判定，而人工審核的結果是最準確的，但相對來說效率也比較低。

現(xiàn)有的信息過濾系統(tǒng)（以下簡稱“過濾系統(tǒng)”）對文本進行識別與分類的方法主要有以下幾種：

（1）基于關鍵詞數(shù)量進行判定

該技術方案的主要思想是設定關鍵詞庫，每個關鍵詞不再設置其他考量指標；對文本中包含的關鍵詞進行識別，并依據(jù)數(shù)量的多少是否達到系統(tǒng)設定的閾值對數(shù)據(jù)進行歸類。

（2）基于熵值（權值）之和進行判定

該技術對每個關鍵詞設定熵值，將重要的關鍵詞的熵值設置為較高，不重要的關鍵詞的熵值設置為較低。對文本進行識別時，計算文本中包含的關鍵詞的熵值之和，并依據(jù)熵值是否達到系統(tǒng)設定的閾值對數(shù)據(jù)進行歸類。

（3）基于語義識別進行判定

語義識別不僅定義關鍵詞，而且定義關鍵詞之間的聯(lián)系（例如同時出現(xiàn)）確定熵值，并最終通過全文的語義確定文本的分類。例如“槍支”和“出售”兩個關鍵詞單獨出現(xiàn)時，應為正常；如果在一定的距離內出現(xiàn)，例如“出售進口槍支”，則判定兩個詞之間存在語義聯(lián)系。

但是，現(xiàn)有的3種技術方案均存在一定程度的不足，具體如下：

（1）基于關鍵詞數(shù)量判定

單純的基于關鍵詞的數(shù)量進行判定會產生非常多的誤判，例如“出售”、“槍支”都為關鍵詞，一篇出現(xiàn)大量“出售”的文章很可能被判定為需要過濾，但很可能是一個正常（如淘寶）的交易頁面。

采用該技術的誤判率可能高達50%，對于僅包含1%需要過濾信息的原始數(shù)據(jù)流來說，誤判造成的影響基本上不可被接受。

（2）基于熵值之和進行判定

基于熵值的判定方式無疑大大增強了判定能力，例如將“出售”、“槍支”的熵值設定為1，將“出售”&“槍支”的熵值設定為100。單純出現(xiàn)“出售”或“槍支”的文本則會判定為正常，往往同時出現(xiàn)“出售”和“槍支”的文本才會判定為需要過濾。

采用該技術很大程度上減少了誤判，該方式存在的關鍵詞權重設定不合理時的調整問題。

（3）基于語義識別進行判定

語義識別的條件更多，因此也更加精確。但在語義識別中同樣面臨兩個技術難點：一是語義識別同樣也面臨關鍵詞權值如何設定的問題，因為在已有的技術方案中，缺乏定義關鍵詞權重設定的方式與方法；二是語義識別分析的效率較低，不適用于處理海量數(shù)據(jù)。

發(fā)明內容