[發明專利]一種垃圾文本的識別方法及裝置

有效

• 申請號: 201810594123.0
• 申請日: 2018-06-11
• 公開（公告）號: CN108874776B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 都金濤
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/20;G06F40/289;G06F40/30;G06N3/04
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;馬敬

本發明實施例提供了一種垃圾文本的識別方法，涉及信息處理技術領域，用以在節省人工操作的基礎上精準地識別垃圾文本，本發明的實施例包括：將待訓練文本轉化為詞向量矩陣，然后通過深度學習模型處理每個待訓練文本對應的詞向量矩陣，根據對每個待訓練文本對應的詞向量的處理結果，將深度學習模型訓練為垃圾文本識別模型，深度學習模型包括卷積神經網絡和雙向循環神經網絡，進而當接收到待識別文本時，通過垃圾文本識別模型識別待識別文本是否為垃圾文本。

技術領域

本發明涉及信息處理技術領域，特別是涉及一種垃圾文本的識別方法及裝置。

背景技術

隨著用戶使用視頻網站的頻率越來越高，使用時長也越來長，用戶在視頻網站上生成的用戶原創內容(User Generated Content，UGC)文本內容量也以爆炸式的速度增長。例如，視頻網站中出現的彈幕、評論、直播聊天室等都是以文字為主體的產品，用戶使用視頻網站中的這些功能的過程中，可以產生海量的文本。

然而在海量的UGC文本中，往往還存在大量的垃圾文本，例如廣告、辱罵文字、負面輿論信息、色情內容等，在傳統方法中，可以通過大量的人工操作來添加關鍵詞，通過關鍵詞來過濾垃圾文本，然而黑產為了避開關鍵詞經常對文本進行變更字形、變更字音等操作，導致無法精準地識別出垃圾文本。

發明內容

本發明實施例的目的在于提供一種垃圾文本的識別方法及裝置，用以在節省人工操作的基礎上精準地識別垃圾文本。

具體技術方案如下：

第一方面，本發明實施例提供一種垃圾文本的識別方法，包括：

將待訓練文本轉化為詞向量矩陣；

通過深度學習模型處理每個待訓練文本對應的詞向量矩陣，根據對每個待訓練文本對應的詞向量的處理結果，將所述深度學習模型訓練為垃圾文本識別模型，所述深度學習模型包括卷積神經網絡和雙向循環神經網絡；

當接收到待識別文本時，通過所述垃圾文本識別模型識別所述待識別文本是否為垃圾文本。

在一種可能的實現方式中，所述將待訓練文本轉化為詞向量矩陣，包括：

對所述待訓練文本進行分詞；

從所述待訓練文本中截取預設數量的詞，若所述待訓練文本中的詞的數量小于所述預設數量，則將所述待訓練文本中的詞補齊至所述預設數量；

確定所述預設數量的詞對應的詞向量；

將所述詞向量構建為所述待訓練文本的詞向量矩陣。

在一種可能的實現方式中，所述通過深度學習模型處理每個待訓練文本對應的詞向量矩陣，包括：

通過所述卷積神經網絡對所述詞向量矩陣進行卷積，得到所述待訓練文本的特征矩陣；

通過雙向循環神經網絡處理所述待訓練文本的特征矩陣，得到所述待訓練文本的特征向量；

通過激活函數處理所述待訓練文本的特征向量，確定所述待訓練文本屬于各文本類型的概率，所述文本類型至少包括垃圾文本和正常文本。

在一種可能的實現方式中，所述通過雙向循環神經網絡處理所述待訓練文本的特征矩陣，得到所述待訓練文本的特征向量，包括：

將所述待訓練文本的特征矩陣輸入雙向循環神經網絡；

通過正向LSTM正向讀取并處理輸入的矩陣，得到所述待訓練文本的第一特征向量；

通過反向LSTM反向讀取并處理輸入的矩陣，得到所述待訓練文本的第二特征向量；

將所述第一特征向量和所述第二特征向量進行拼接，得到所述待訓練文本的特征向量。