[發明專利]一種基于Bert的雙通道Attention模型的文本情感分析方法

在審

• 申請號: 202211370656.3
• 申請日: 2022-11-03
• 公開（公告）號: CN115906816A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 張麗;李志惠;宋奇鍵
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F40/247
• 分類號: G06F40/247;G06F16/35;G06F16/951;G06N3/0464;G06N3/08
• 代理公司: 北京匯信合知識產權代理有限公司 11335
• 代理人: 黃素云

1.一種基于Bert的雙通道Attention模型文本情感分析方法，其特征在于，包括：

對文本數據集進行預處理，并通過Bert模型轉化為詞向量；

將所述詞向量分別輸入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；

將所述全局特征信息和所述局部特征信息分別輸入注意力層，所述注意力層通過配置情感詞的權重分值分別對全局特征信息和局部特征信息進行優化，得到全局特征向量和局部特征向量；

融合所述全局特征向量和局部特征向量，輸入全連接層；

將全連接層的輸出結果輸入softmax層進行情感分類，得到情感分類結果。

2.根據權利要求1所述的基于Bert的雙通道Attention模型文本情感分析方法，其特征在于：采用爬蟲技術獲取產品的評論內容，構建所述文本數據集。

3.根據權利要求1所述的基于Bert的雙通道Attention模型文本情感分析方法，其特征在于：所述對文本數據集進行預處理，包括：

將不包含情感信息的空格符、標點符號、無法識別的表情符號及鏈接去除；

將自動好評去除；

將數字和字母大小寫統一化；

將文本中的繁體字統一轉換成簡體字；

將全角字符轉為半角字符。

4.根據權利要求1所述的基于Bert的雙通道Attention模型文本情感分析方法，其特征在于，將所述詞向量通過BiLSTM模型提取文本的全局特征信息，包括：

通過前向LSTM訓練前向序列得到前向序列的隱藏狀態序列；

通過后向LSTM訓練后向序列得到后向序列的隱藏狀態序列；

拼接所述前向序列的隱藏狀態序列和所述后向序列的隱藏狀態序列，得到文本的全局特征信息。

5.根據權利要求4所述的基于Bert的雙通道Attention模型文本情感分析方法，其特征在于：所述通過前向LSTM訓練前向序列得到前向序列的隱藏狀態序列和所述通過后向LSTM訓練后向序列得到后向序列的隱藏狀態序列；均包括：

遺忘門計算：f_t＝σ(W_f×[h_t-1，x_t]+b_f)

記憶門的計算：i_t＝σ(W_i×[h_t-1，x_t]+b_i)，

當前時刻細胞狀態的計算：

輸出門的計算：o_t＝σ(W_o[h_t-1,x_t]+b_o)

當前時刻的隱藏狀態的計算：h_t＝o_t*tanh(C_t)

其中，

f_t、i_t、C_t、o_t、h_t分別表示遺忘門的值、記憶門的值、臨時細胞狀態、當前時刻的細胞狀態、輸出門的值、當前時刻的隱藏狀態；

h_t-1表示LSTM訓練中t-1時刻的隱藏狀態；

C_t-1表示上一個時刻的細胞狀態；

x_t表示當前時刻的輸入詞向量；

σ表示sigmoid激活函數；

W_f和b_f分別表示遺忘門的權重矩陣和偏移向量；

W_i和b_i分別表示記憶門的權重矩陣和偏移向量；

W_o和b_o分別表示輸出門的權重矩陣和偏移向量；

前向序列各時刻隱藏狀態的集合構成前向序列的隱藏狀態序列后向序列各時刻隱藏狀態的集合構成后向序列的隱藏狀態序列

將前向序列各時刻隱藏狀態與后向序列各時刻隱藏狀態進行拼接，得到文本的全局特征信息為：H_t(t＝1，2，…，n)。