[發(fā)明專(zhuān)利]基于多元注意力修正的方面級(jí)情感分析建模方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110672328.8
• 申請(qǐng)日: 2021-06-15
• 公開(kāi)（公告）號(hào): CN113361617A
• 公開(kāi)（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 李天瑞;張嚴(yán)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西南交通大學(xué)
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06F40/30;G06F40/284;G06F40/216;G06N3/04;G06N3/08
• 代理公司: 成都盈信專(zhuān)利代理事務(wù)所(普通合伙) 51245
• 代理人: 崔建中

1.基于多元注意力修正的方面級(jí)情感分析建模方法，其特征在于，包括：

步驟1：將方面詞分別與語(yǔ)句序列W的上文序列和下文序列拼接，得到嵌入后的上文序列W_L和下文序列W_R，具體為：

1.1將語(yǔ)句序列W＝(w₁，...，w_l，w_l+1，...，w_r-1，w_r，...，w_m)中的詞w_i轉(zhuǎn)換成低維的稠密實(shí)值向量由詞嵌入矩陣W_vec中的一個(gè)向量編碼表示，i∈[1，...，m]；所述語(yǔ)句序列W中，(w₁，...，w_l)為上文序列，(w_r，...，w_m)為下文序列，(w_l+1，...，w_r-1)為方面詞序列，1≤l＜r≤m；

1.2將方面詞序列分別嵌入到上文序列和下文序列中，得到

W_L＝(w₁，...，w_l，w_l+1，...，w_r-1)，W_R＝(w_l+1，...，w_r-1，w_r，...，w_m)；

步驟2：利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)BLSTM的前向LSTM和后向LSTM分別捕獲W_L和W_R的語(yǔ)意信息，得到其隱藏狀態(tài)H_L和H_R：

其中，和為隱藏層狀態(tài)在t時(shí)刻的輸出，t∈[1，...，n]；

步驟3：將方面詞向量矩陣v_a分別與隱藏狀態(tài)H_L和H_R拼接，得到新的隱藏狀態(tài)M_L和M_R：

其中，W_h與W_v為待學(xué)習(xí)的投影系數(shù)，e_n為n列的元向量；所述方面詞向量矩陣v_a由方面詞序列中所有詞的稠密實(shí)值向量依序構(gòu)成；

步驟4：多元注意力修正：

4.1計(jì)算上文和下文的注意力權(quán)重系數(shù)：

其中，w_L是由上文序列中所有詞的稠密實(shí)值向量依序構(gòu)成的矩陣，為其轉(zhuǎn)置矩陣；w_R是由下文序列中所有詞的稠密實(shí)值向量依序構(gòu)成的矩陣，為其轉(zhuǎn)置矩陣；

4.2使用隱藏狀態(tài)和注意力權(quán)重系數(shù)進(jìn)行修正，得到加權(quán)向量r：

4.3獲取語(yǔ)句序列在方面詞序列的表示h^*：

h^*＝tanh(W_pr+W_xh_N)；

其中，W_p、W_x為待學(xué)習(xí)的投影系數(shù)，h_N由H_L和H_R的最后一個(gè)輸出向量組合得到；

4.4使用Softmax分類(lèi)，得到情感極性分類(lèi)結(jié)果y：

y＝softmax(W_sh^*+b_s)；

其中，W_s為待學(xué)習(xí)的投影系數(shù)，b_s為偏置項(xiàng)。