[發明專利]基于遷移學習的互聯網垃圾信息檢測方法及系統

有效

• 申請號: 202110205954.6
• 申請日: 2021-02-24
• 公開（公告）號: CN112905794B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 劉立峰;王旭穎
• 申請（專利權）人: 珠海高凌信息科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 張志輝

1.一種基于遷移學習的互聯網垃圾信息檢測方法，其特征在于，包括以下步驟：

S100，對帶標記的第一語料進行預處理，得到相應的第一詞向量序列，輸入BERT模型，獲得隱藏層的輸出，經過全連接層，再進入Softmax分類器，對所述BERT模型的訓練和測試，得到預訓練好的所述BERT模型；

S200，構建垃圾信息檢測模型，所述垃圾信息檢測模型包括預訓練好的所述BERT模型、LSTM網絡模型、全連接層及Softmax分類器；以及，對帶互聯網垃圾信息標記的第二語料進行預處理，得到相應的第二詞向量序列，基于訓練好的所述BERT模型，獲取隱藏層輸出的第二語義特征向量，并基于LSTM網絡模型獲取第三語義特征向量，經過全連接層輸入Softmax分類器，對所述垃圾信息檢測模型進行訓練和測試，其中所述第二語料與所述第一語料對應同一種語言；

S300，對不帶標記的所述第二語料進行預處理，得到相應的第三詞向量序列，通過訓練好的所述垃圾信息檢測模型，確定是否含有互聯網有害信息；

其中，所述步驟S100包括：

S110，按預設規則將對帶標記的所述第一語料劃分為第一訓練集與第一測試集，并分別進行預處理，生成數據字典，進行文本字符化，得到相應的第一文本序列，通過字符標識對所述第一文本序列進行分割，得到所述第一詞向量序列；

S120，基于所述第一訓練集的所述第一詞向量序列對所述BERT模型進行預訓練，獲得隱藏層的輸出的第一語義特征向量，經過全連接層輸入至Softmax分類器，計算第一訓練準確率，根據所述第一訓練準確率調整所述BERT模型的超參數并進行迭代訓練；

S130，基于所述第一測試集的所述第一詞向量序列對所述BERT模型進行測試，計算第一測試準確率，根據所述第一測試準確率調整所述BERT模型的超參數并進行迭代訓練；

其中，所述步驟S200包括：

S210，按預設規則將帶互聯網垃圾信息標記的所述第二語料劃分為第二訓練集與第二測試集，并分別進行預處理，生成數據字典，進行文本字符化，得到相應的第二文本序列，通過字符標識對所述第二文本序列進行分割，得到相應的所述第二詞向量序列；

S220，基于所述第二訓練集的所述第二詞向量序列對所述垃圾信息檢測模型進行預訓練，基于預訓練好的所述BERT模型提取語義特征，得到隱藏層輸出的所述第二語義特征向量，基于LSTM網絡模型對所述第二語義特征向量提取特征，得到所述第三語義特征向量，將所述第三語義特征向量經過全連接層輸入Softmax分類器，計算第二訓練準確率，根據所述第二訓練準確率調整所述垃圾信息檢測模型的超參數并進行迭代訓練；

S230，基于所述第二測試集的所述第二詞向量序列對所述垃圾信息檢測模型進行測試，計算第二測試準確率，根據所述第二測試準確率調整所述垃圾信息檢測模型的超參數并進行迭代訓練。

2.根據權利要求1所述的基于遷移學習的互聯網垃圾信息檢測方法，其特征在于，所述步驟S120還包括：若所述第一訓練集的迭代訓練次數大于等于第一預設最大迭代數或者所述第一訓練準確率大于等于第一預設閾值，則轉入步驟S130。

3.根據權利要求1所述的基于遷移學習的互聯網垃圾信息檢測方法，其特征在于，所述步驟S130還包括：若檢測到所述BERT模型的超參數的調整次數大于等于第一最大值，則輸出預訓練好的所述BERT模型。

4.根據權利要求1所述的基于遷移學習的互聯網垃圾信息檢測方法，其特征在于，所述步驟S220還包括：若所述第二訓練集的迭代訓練次數大于等于第二預設最大迭代數或者所述第二訓練準確率大于等于第二預設閾值，則轉入步驟S230。

5.根據權利要求4所述的基于遷移學習的互聯網垃圾信息檢測方法，其特征在于，所述步驟S230還包括：若檢測到所述垃圾信息檢測模型的超參數的調整次數大于等于第二最大值，則輸出訓練好的所述垃圾信息檢測模型。