[發明專利]一種垃圾文本識別方法和裝置

有效

• 申請號: 201710273503.X
• 申請日: 2017-04-21
• 公開（公告）號: CN107239440B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 斯義譜;鄭侃侃
• 申請（專利權）人: 同盾控股有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F40/289;G06F40/30;G06F16/9535
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

1.一種垃圾文本識別方法，應用于互聯網，其特征在于，所述方法具體包括步驟：

獲取互聯網的用戶輸入的文本；

對所述文本的特征進行特征提取，得到所述文本的多個文本特征；

利用預設的垃圾文本識別模型對所述文本特征進行識別，得到所述文本的垃圾概率；

其中，所述對所述文本的特征進行特征提取，包括：

利用預先構建的語料庫、停用詞表、關鍵詞表和變異詞表對所述文本進行特征提取，得到所述多個文本特征；

其中，所述文本特征包括語義文本特征和非語義文本特征，所述利用預設的垃圾文本識別模型對所述文本特征進行識別，包括：

將所述語義文本特征輸入預設的語義特征垃圾文本識別模型進行識別，得到第一概率；

進一步，將所述非語義文本特征輸入預設的非語義特征垃圾文本識別模型進行識別，得到第二概率；

對所述第一概率和所述第二概率進行綜合處理，最終得到所述垃圾概率；

所述語義文本特征僅包含典型詞匯，所述非語義文本特征包括關鍵詞垃圾概率、變異詞垃圾概率、標點符號占比、火星文占比、常用字占比、字符類型變換次數、實體詞個數占比和連續n個及以上重復字符出現次數中的部分或全部，n為正整數。

2.如權利要求1所述的垃圾文本識別方法，其特征在于，所述關鍵詞表的構建方法包括如下步驟：

根據所述語料庫對所述文本進行分詞處理，并統計所述分詞處理得到的每個詞或字符所出現的頻次；

將通過分詞處理提取出的各個類別的詞、字符和詞組合作為關鍵詞；

根據所述關鍵詞和所述頻次得到所述關鍵詞的垃圾概率；

將所述關鍵詞及其對應的所述垃圾概率加入預設的表格，得到所述關鍵詞表。

3.如權利要求2所述的垃圾文本識別方法，其特征在于，所述非語義特征垃圾文本識別模型為根據非語義文本特征、運用機器學習模型訓練得到。

4.如權利要求1～3任一所述的垃圾文本識別方法，其特征在于，在所述對所述文本的特征進行計算步驟之前，還包括：

對所述文本進行預處理，剔除其中無益于垃圾識別的字符。

5.一種垃圾文本識別系統，應用于互聯網，其特征在于，所述系統具體包括：

文本獲取模塊，用于獲取互聯網的用戶輸入的文本；

特征提取模塊，用于對所述文本的特征進行特征提取，得到所述文本的多個文本特征；

特征識別模塊，用于利用預設的垃圾文本識別模型對所述文本特征進行識別，得到所述文本的垃圾概率；

其中，所述特征提取模塊包括：

文本特征提取單元，用于利用預先構建的語料庫、停用詞表、關鍵詞表和變異詞表對所述文本進行特征提取，得到所述多個文本特征；

其中，所述文本特征包括語義文本特征和非語義文本特征，所述特征識別模塊包括：

第一識別單元，用于將所述語義文本特征輸入預設的語義特征垃圾文本識別模型進行識別，得到第一概率；

第二識別單元，用于進一步，將所述非語義文本特征輸入預設的非語義特征垃圾文本識別模型進行識別，得到第二概率；

綜合處理單元，用于對所述第一概率和所述第二概率進行綜合處理，最終得到所述垃圾概率；

所述語義文本特征僅包含典型詞匯，所述非語義文本特征包括關鍵詞垃圾概率、變異詞垃圾概率、標點符號占比、火星文占比、常用字占比、字符類型變換次數、實體詞個數占比和連續n個及以上重復字符出現次數中的部分或全部，n為正整數。

6.如權利要求5所述的垃圾文本識別系統，其特征在于，所述特征提取模塊還包括關鍵詞表構建單元，所述關鍵詞表構建單元包括：

分詞處理子單元，用于根據所述語料庫對所述文本進行分詞處理，并統計所述分詞處理得到的每個詞或字符所出現的頻次；

關鍵詞歸類子單元，用于將通過分詞處理提取出的各個類別的詞、字符和詞組合作為關鍵詞；

垃圾概率計算子單元，用于根據所述關鍵詞和所述頻次得到所述關鍵詞的垃圾概率；

關鍵詞表構建子單元，用于將所述關鍵詞及其對應的所述垃圾概率加入預設的表格，得到所述關鍵詞表。