[發明專利]對網絡文本與手機短信進行不良內容識別的方法

無效

• 申請號: 201010167065.7
• 申請日: 2010-05-06
• 公開（公告）號: CN101876968A
• 公開（公告）日: 2010-11-03
• 發明（設計）人: 邱錫鵬;劉力;金城;張玥杰;薛向陽
• 申請（專利權）人: 復旦大學
• 主分類號: G06F17/22
• 分類號: G06F17/22;G06F17/27
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

1.對網絡文本與手機短信進行不良內容識別的方法，其特征在于，包括如下步驟：a：輸入待檢測文本，b：確定文本編碼格式，c：對文本進行格式轉換，d：將文本與短字符串詞匯庫進行比較，e：將文本與長字符串詞匯庫進行比較，f：對結果進行拷貝檢測。

2.根據權利要求1所述的方法，其特征在于所述文本編碼格式包括GBK格式和UTF8格式。

3.根據權利要求1所述的方法，其特征在于所述對文本進行格式轉換包括對字型變異，拼音變異，夾雜無意義特殊符號變異的格式轉換；轉換的方法是建立一個變形字庫，將所有與原文字對應的變形字全部放入變形字庫中；變形字庫有兩種：拼音字庫和字型字庫，兩者結合起來完成對變異字的格式轉換了。

4.根據權利要求1所述的方法，其特征在于所述短字符串詞庫為文字長度為4個(含4個)以下的詞庫，長字符串詞庫為文字長度4個字以上的詞庫。

5.根據權利要求1所述的方法，其特征在于所述對結果進行拷貝檢測包括白名單檢測與黑名單檢測；白名單是指通過收集大量的正常文本來分析其中的不良詞匯出現的頻率、位置，以及其前后文的情況，經過統計分析得出的一個特征庫；黑名單是通過收集大量的不良文本分析得到的特征庫；通過相似度來判定文章是正常文本還是不良文本。

6.根據權利要求1所述的方法，其特征在于所述將文本與短字符串詞匯庫進行比較，其方法是，首先建立一個詞匯與桶的一一對應，將所有的詞匯進行某種格式的編碼，將編碼后的結果放入一個桶中；然后采用滑動窗口法，從待檢測文本串的第一個漢字開始，將一個虛擬框放在第一個漢字的前端，虛擬框的大小等于詞庫中最長漢字的大?。幌热〉谝缓偷诙€漢字放到虛擬框中，同詞匯庫桶進行比較，如果存在不良詞匯，把這個不良詞匯記錄下來，同時記錄其所在的位置；如果不存在不良詞匯，那么就再取第一個、第二個和第三個漢字作為一個整體放入虛擬框中，同詞匯庫桶進行比較；依次類推，直到虛擬框裝滿為止；這樣的若干個步驟組成一個小的檢測單元；每做完一個檢測單元，就將虛擬框往后移動一個漢字的距離，然后重復檢測過程，直到虛擬框移動到最后一個漢字結束。

7.根據權利要求1所述的方法，其特征在于所述將文本與長字符串詞匯庫進行比較，其步驟是，首先，從長字符串詞匯庫中取出一個不良詞匯，從頭到尾與待檢測字符串進行比較，如果相同，就記錄下其位置和不良詞匯的內容；然后，從長字符串詞匯庫中取出下一個不良詞匯，進行那個同樣的檢測，依次進行，直到檢測到長字符串詞匯庫中最后一個詞匯結束；夾雜無意義特殊符號變異這部分詞匯也放入長字符串詞庫。