[發明專利]一種垃圾文本的識別方法及裝置

有效

• 申請號: 201810594123.0
• 申請日: 2018-06-11
• 公開（公告）號: CN108874776B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 都金濤
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/20;G06F40/289;G06F40/30;G06N3/04
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;馬敬

1.一種垃圾文本的識別方法，其特征在于，包括：

將待訓練文本轉化為詞向量矩陣；

通過深度學習模型處理每個待訓練文本對應的詞向量矩陣，根據對每個待訓練文本對應的詞向量的處理結果，將所述深度學習模型訓練為垃圾文本識別模型，所述深度學習模型包括卷積神經網絡和雙向循環神經網絡；所述深度學習模型對所述詞向量矩陣進行處理的步驟為：將所述詞向量矩陣輸入至所述卷積神經網絡，所述卷積神經網絡對所述詞向量矩陣中的詞向量進行分組，得到第一預設數量個分組后的詞向量矩陣，使用第二預設數量個一維卷積模板依次對所述分組后的詞向量矩陣進行卷積，得到所述第二預設數量個列向量，將所述第二預設數量個列向量組成組合矩陣，使用修正線性單元激活函數抽取對所述組合矩陣進行特征抽取，得到特征矩陣；將所述特征矩陣輸入到所述雙向循環神經網絡進行處理，得到待訓練文本的特征向量；

當接收到待識別文本時，通過所述垃圾文本識別模型識別所述待識別文本是否為垃圾文本；

所述通過深度學習模型處理每個待訓練文本對應的詞向量矩陣，包括：

通過所述卷積神經網絡對所述詞向量矩陣進行卷積，得到所述待訓練文本的特征矩陣；

通過雙向循環神經網絡處理所述待訓練文本的特征矩陣，得到所述待訓練文本的特征向量；

通過激活函數處理所述待訓練文本的特征向量，確定所述待訓練文本屬于各文本類型的概率，所述文本類型至少包括垃圾文本和正常文本。

2.根據權利要求1所述的方法，其特征在于，所述將待訓練文本轉化為詞向量矩陣，包括：

對所述待訓練文本進行分詞；

從所述待訓練文本中截取預設數量的詞，若所述待訓練文本中的詞的數量小于所述預設數量，則將所述待訓練文本中的詞補齊至所述預設數量；

確定所述預設數量的詞對應的詞向量；

將所述詞向量構建為所述待訓練文本的詞向量矩陣。

3.根據權利要求1所述的方法，其特征在于，所述通過雙向循環神經網絡處理所述待訓練文本的特征矩陣，得到所述待訓練文本的特征向量，包括：

將所述待訓練文本的特征矩陣輸入雙向循環神經網絡；

通過正向長短時記憶神經網絡LSTM正向讀取并處理輸入的矩陣，得到所述待訓練文本的第一特征向量；

通過反向LSTM反向讀取并處理輸入的矩陣，得到所述待訓練文本的第二特征向量；

將所述第一特征向量和所述第二特征向量進行拼接，得到所述待訓練文本的特征向量。

4.根據權利要求1至3中任一項所述的方法，其特征在于，所述當接收到待識別文本時，通過所述垃圾文本識別模型識別所述待識別文本是否為垃圾文本，包括：

將所述待識別文本轉化為詞向量矩陣；

通過所述垃圾文本識別模型處理所述待識別文本對應的詞向量矩陣，確定所述待識別文本屬于各文本類型的概率，所述文本類型至少包括正常文本和垃圾文本；

若所述待識別文本屬于垃圾文本的概率大于預設值，則確定所述待識別文本為垃圾文本。