[發明專利]一種基于BERT-LSTM的謠言檢測模型

在審

• 申請號: 202011220175.5
• 申請日: 2020-11-05
• 公開（公告）號: CN112270187A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 況麗娟;戴憲華
• 申請（專利權）人: 中山大學
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/216;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于BERT-LSTM的謠言檢測模型，其特征在于，使用BERT預訓練語言模型對文本進行句子層面的特征向量表示，將獲得的特征向量輸入LSTM模型進一步獲取高層語義特征，并且防止梯度消失或者梯度爆炸，使得模型能更加準確地理解語義，提高檢測的準確率。所述方法包括：

下載Google提供的BERT-Base模型，對輸入的的原始數據做預處理，主要有去除特殊符號、去除多余空白、文本繁體轉簡體以及去除停用詞，主要去掉文本中高頻、無實際意義的詞。

將BERT模型得到的向量輸入LSTM模型。將BERT與LSTM連接的方式是將bert_model.get_sequence_output()函數即bert模型輸出的token向量作為LSTM網絡的輸入，將兩者結合起來形成端到端的神經網絡結構。經過LSTM的遺忘門、輸入門、輸出門提取到更高維、有效的特征再輸入到softmax層進行分類。

2.根據權利要求所述的方法，其特征在于，選取訓練樣本集，所述訓練樣本集中包括若干個樣本文本和每個所述樣本文本的0、1標簽。保持所述神經網絡的網絡結構的參數為讀取到的所述基礎網絡參數，利用所述訓練樣本集對所述神經網絡的基礎網絡參數進行訓練。對輸入數據預處理，利用停用詞表，主要是對文本進行去停用詞、去標點符號、分詞。根據BERT模型，將文本數據轉化為詞向量。

3.根據權利要求1或2所述的方法，其特征在于,將得到的詞向量以時間序列輸入到LSTM的encoder端，利用隱藏層保存文本中的依賴信息，信息在LSTM中會經過遺忘門、輸入門、輸出門最終輸出。利用LSTM對數據進行過濾、篩選和細胞狀態更新，并防止梯度爆炸。

4.所述方法還包括：將LSTM輸出的特征向量輸入softmax分類器中進行具體分類,確定所述特征向量對應的類別并輸出文本是否為謠言的分類結果。