[發明專利]基于遷移學習的互聯網垃圾信息檢測方法及系統

有效

• 申請號: 202110205954.6
• 申請日: 2021-02-24
• 公開（公告）號: CN112905794B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 劉立峰;王旭穎
• 申請（專利權）人: 珠海高凌信息科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 張志輝

本發明公開了基于遷移學習的互聯網垃圾信息檢測方法及系統，該方法包括以下步驟：對帶標記的第一語料進行預處理，得到相應的第一詞向量序列，預訓練BERT模型；構建垃圾信息檢測模型，包括訓練好的BERT模型、LSTM網絡模型、全連接層及Softmax分類器；以及，對帶互聯網垃圾信息標記的第二語料進行預處理后，對垃圾信息檢測模型進行訓練和測試，其中第二語料與第一語料對應同一種語言；對不帶標記的第二語料進行預處理，得到相應的第三詞向量序列，通過訓練好的垃圾信息檢測模型，確定是否含有互聯網有害信息。本發明減少了訓練所需的有標簽的第二語料的數據量，縮短模型訓練時間，節省計算資源，同時確保模型的準確性和穩定性。

技術領域

本發明涉及人工智能垃圾信息檢測的技術領域，特別涉及一種基于遷移學習的互聯網垃圾信息檢測方法及系統。

背景技術

隨著我國互聯網技術的不斷發展，各種社交網站平臺如微博，微信公眾號等如雨后春筍般大量涌現并且繁榮發展，網絡上的信息通過此類平臺逐漸滲透到人們日常生活中的各個角落。然而，這些信息中往往也夾雜著大量無用甚至有害的垃圾信息，推廣傳播這些有害信息不僅會降低正常用戶的平臺使用體驗滿意度，更有可能誘導一部分網絡用戶不知不覺中收到網絡詐騙的侵害。

現有的針對互聯網有害信息識別的自然語言處理深度學習模型往往需要大量的有標簽數據進行訓練，而在實際應用中，很難獲得針對某一特殊領域或者特殊用戶群體的大量的有標簽的訓練信息，因而造成互聯網垃圾信息識別能力低下，且成本高昂。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提出一種基于遷移學習的互聯網垃圾信息檢測方法，能夠有效降低識別成本，提高互聯網垃圾信息的檢測能力。

本發明還提出一種具有上述基于遷移學習的互聯網垃圾信息檢測方法的基于遷移學習的互聯網垃圾信息檢測系統。

本發明還提出一種具有上述基于遷移學習的互聯網垃圾信息檢測方法的計算機可讀存儲介質。

根據本發明的第一方面實施例的基于遷移學習的互聯網垃圾信息檢測方法，包括以下步驟：S100，對帶標記的第一語料進行預處理，得到相應的第一詞向量序列，輸入BERT模型，獲得隱藏層的輸出，經過全連接層，再進入Softmax分類器，對所述BERT模型的訓練和測試，得到預訓練好的所述BERT模型；S200，構建垃圾信息檢測模型，所述垃圾信息檢測模型包括預訓練好的所述BERT模型、LSTM網絡模型、全連接層及Softmax分類器；以及，對帶互聯網垃圾信息標記的第二語料進行預處理，得到相應的第二詞向量序列，基于訓練好的所述BERT模型，獲取隱藏層輸出的第二語義特征向量，并基于LSTM網絡模型獲取第三語義特征向量，經過全連接層輸入Softmax分類器，對所述垃圾信息檢測模型進行訓練和測試，其中所述第二語料與所述第一語料對應同一種語言；S300，對不帶標記的所述第二語料進行預處理，得到相應的第三詞向量序列，通過訓練好的所述垃圾信息檢測模型，確定是否含有互聯網有害信息。

根據本發明實施例的基于遷移學習的互聯網垃圾信息檢測方法，至少具有如下有益效果：通過將預訓練的BERT模型與LSTM網絡組合，構建深度遷移模型，減少了訓練所需的有標簽的第二語料的數據量，可以大大縮短模型訓練時間，節省計算資源，同時確保模型的準確性和穩定性。

根據本發明的一些實施例，所述步驟S100包括：S110，按預設規則將對帶標記的所述第一語料劃分為第一訓練集與第一測試集，并分別進行預處理，生成數據字典，進行文本字符化，得到相應的第一文本序列，通過字符標識對所述第一文本序列進行分割，得到所述第一詞向量序列；S120，基于所述第一訓練集的所述第一詞向量序列對所述BERT模型進行預訓練，獲得隱藏層的輸出的第一語義特征向量，經過全連接層輸入至Softmax分類器，計算第一訓練準確率，根據所述第一訓練準確率調整所述BERT模型的超參數并進行迭代訓練；S130，基于所述第一測試集的所述第一詞向量序列對所述BERT模型進行測試，計算第一測試準確率，根據所述第一測試準確率調整所述BERT模型的超參數并進行迭代訓練。