[發(fā)明專利]基于混合注意力網(wǎng)絡(luò)的細(xì)粒度情感極性預(yù)測方法

有效

• 申請?zhí)枺?/td>: 201910333298.0
• 申請日: 2019-04-24
• 公開（公告）號: CN109948165B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計）人: 王英;孫小婉;王鑫;孫玉東;于尤婧;凌云志;馬涪元
• 申請（專利權(quán)）人: 吉林大學(xué)
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/211;G06F17/16;G06N3/045;G06N3/0464;G06N3/044;G06N3/047;G06N3/084
• 代理公司: 長春市恒譽專利代理事務(wù)所(普通合伙) 22212
• 代理人: 李榮武

1.一種基于混合注意力網(wǎng)絡(luò)的特定方面細(xì)粒度情感極性預(yù)測方法，其特征在于，所述的基于混合注意力網(wǎng)絡(luò)的特定方面細(xì)粒度情感極性預(yù)測方法包括如下步驟：

(1)根據(jù)給定評論句子獲取文本上下文序列和特定方面目標(biāo)詞序列：

1)依據(jù)給定評論句子，定義文本上下文序列：

T^c＝{w₁,w₂,…w_n}

其中：T^c表示文本上下文序列，n表示句中單詞個數(shù)，對于任意的i∈[1,n]，w_i表示文本上下文序列中第i個詞向量；

2)根據(jù)給定評論句子，抽取特定方面目標(biāo)詞并定義特定方面目標(biāo)詞序列：

S^a＝{a₁,a₂,…a_m}

其中：S^a表示特定方面目標(biāo)詞序列，m表示特定方面目標(biāo)詞個數(shù)，對于任意的j∈[1,m],a_j表示特定方面目標(biāo)詞序列中第j個詞向量；

(2)根據(jù)特定目標(biāo)詞數(shù)量，將句子表示為m個分句；

(3)通過通過線性映射層模塊，將文本上下文序列和特定方面目標(biāo)詞序列中的每一個詞通過glove詞嵌入方法映射成為一個多維的連續(xù)值詞向量，得到為文本上下文矩陣和特定方面目標(biāo)詞向量矩陣

其中：k為詞向量維度，c′為文本上下文詞向量數(shù)量，a′為特定方面目標(biāo)詞向量數(shù)量；

(4)通過線性變換層模塊，將文本上下文矩陣進(jìn)行三次線性變化并得到對應(yīng)的變換矩陣，將特定方面目標(biāo)詞向量矩陣進(jìn)行一次線性變化得到相應(yīng)的變化矩陣，具體方式如下：

Q^c＝E^c×W^Q

K^c＝E^c×W^K

V^c＝E^c×W^V

P^a＝E^a×W^P

其中：Q^c、K^c、V^c為文本上下文線性變換矩陣，W^Q、W^K和W^V為文本上下文線性變換參數(shù)矩陣，W^P為特定方面目標(biāo)詞向量線性變換參數(shù)矩陣，P^a為特定方面目標(biāo)詞線性變換矩陣；

(5)通過雙注意力層模塊，對步驟(4)獲得的線性變化矩陣做如下操作：

1)使用縮放點積相似度函數(shù)計算文本上下文自注意力，首先計算矩陣Q^c和K^c的相似度得分，然后經(jīng)過歸一化操作得到對應(yīng)權(quán)重向量，再與矩陣V^c相乘得到文本上下文自注意力矩陣S^c：

其中：S^c為文本上下文自注意力矩陣，softmax(·)表示歸一化函數(shù)，d_k為矩陣K^C的維度；

2)使用縮放點積相似度函數(shù)計算特定方面目標(biāo)詞向量注意力，首先計算P^a和K^c的相似度得分，然后經(jīng)過歸一化操作得到對應(yīng)權(quán)重向量，再與矩陣V^c相乘得到特定方面目標(biāo)詞向量注意力矩陣D^a：

其中：D^a為特定方面詞向量注意力矩陣，d_k為矩陣K^c的維度；

3)將得到的兩個注意力矩陣進(jìn)行拼接，得到雙注意力矩陣：

U_i＝concat(S^c,D^a)

其中：對于任意的i∈[1,h]，U_i表示雙注意力矩陣，concat(·)為矩陣拼接操作；

4)使用不同線性變換參數(shù)矩陣重復(fù)h次1)2)3)過程，得到h個雙注意力矩陣，對h個雙注意力矩陣進(jìn)行拼接，再經(jīng)過線性變化，得到最終的注意力表示矩陣Z：

Z＝concat(U₁,U₂,…,U₈)W^o

其中：Z表示最終注意力表示矩陣，W^o為線性變換參數(shù)矩陣；

5)通過平均池化池化操作，得到最終的特征表達(dá)：

z^p＝pooling(Z)

其中：z^p表示最終注意力表示向量，pooling(·)表示平均池化操作；

(6)在輸出層模塊，將雙注意力層輸出作為輸入，像傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)一樣，經(jīng)過全連接層輸入到最終的softmax分類器中，得到特定方面情感極性預(yù)測結(jié)果：

y＝softmax(wz^p+b)

其中：w表示參數(shù)向量，b表示偏置項；

(7)使用梯度下降算法對交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化：

其中：loss為交叉熵?fù)p失函數(shù)，D為訓(xùn)練集數(shù)據(jù)量，即訓(xùn)練集合大小，C為數(shù)據(jù)集的類別數(shù)，y為待分類句子的預(yù)測類別，為實際類別，λ||θ||²為交叉熵正則項。