[發明專利]一種基于注意力機制的文本情感分析方法

有效

• 申請號: 201811329085.2
• 申請日: 2018-11-08
• 公開（公告）號: CN109543180B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 王甲海;宋有偉
• 申請（專利權）人: 中山大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F16/35
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

1.一種基于注意力機制的文本情感分析方法，其特征在于，包括以下步驟：

S1：對文本數據進行預處理，包括分詞、去停用詞和標點符號；

S2：構建詞表并利用GloVe模型構建詞向量，將文本映射為詞向量后作為網絡的輸入，通過GloVe對處理后的文本做向量化，將向量化的文本輸入構建的注意力匯流編碼器網絡來對句子和目標詞編碼、融合、變換建模操作，用Softmax函數輸出分類標簽的概率分布；

S3：利用內在注意力對句向量進行編碼，利用交互注意力對目標詞向量進行編碼，并通過GRU融合編碼后的兩個向量，平均池化后得到融合表示；

S4：根據得到的融合表示，通過逐點的前饋計算得到上下文向量的抽象特征，再通過全連接與Softmax函數計算情感分類標簽的概率分布，得到分類結果；

S5：將預處理后的語料劃分為訓練集和測試集，對模型參數進行多次訓練，選取分類準確率最高的模型用于情感傾向性分類。

2.根據權利要求1所述的基于注意力機制的文本情感分析方法，其特征在于，所述步驟S3的具體過程是：

S31：采用內在注意力機制對句向量進行編碼，則編碼的計算公式如下：

Intra-Attention(K)＝ScoreFunction(K，K)·K

其中，K為輸入的句向量矩陣，ScoreFunction用于計算兩個詞向量之間的語義相似度：

ScoreFunction(Q，K)＝tanh(W·[Q；K]+b)

其中W為要訓練的權重矩陣，b為要訓練的偏置值；

S32：采用交互注意力機制對目標詞向量進行編碼，則編碼的計算公式如下：

Inter-Attention(Q，K)＝ScoreFunction(Q，K)·K

其中，K為輸入的句向量矩陣，Q為目標詞向量矩陣，ScoreFunction用于計算兩個詞向量之間的語義相似度；

S33：通過GRU融合編碼后的兩個向量，得到融合表示G：

z＝sigmoid(C·W₁+T·W₂+b)

G＝z·C+(1-z)·T

其中，z是更新門，C是句向量通過內在注意力機制編碼后的內容，T是目標詞向量通過交互注意力機制編碼后的內容，W₁和W₂為要訓練的權重矩陣。

3.根據權利要求1所述的基于注意力機制的文本情感分析方法，其特征在于，所述步驟S4的具體過程是：

采用逐點的前饋網絡(FFN)對句向量進行編碼，其計算公式如下：

FFN(x)＝ReLU(x·W₁+b₁)·W₂+b₂

其中x是步驟S3得到融合表示，W₁和W₂為要訓練的權重矩陣，b₁和b₂為要訓練的偏置值。