[發(fā)明專利]基于卷積注意力機(jī)制網(wǎng)絡(luò)的實(shí)體級別情感分類方法

在審

• 申請?zhí)枺?/td>: 201811394014.0
• 申請日: 2018-11-21
• 公開（公告）號: CN109213868A
• 公開（公告）日: 2019-01-15
• 發(fā)明（設(shè)計(jì)）人: 張樹武;易謙;劉杰;張桂煊;關(guān)虎
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩

1.一種基于卷積注意力機(jī)制網(wǎng)絡(luò)的實(shí)體級別情感分類方法，其特征在于，所述方法包括：

步驟S10，對目標(biāo)文本進(jìn)行處理獲得文本矩陣以及目標(biāo)實(shí)體向量；

步驟S20，將文本矩陣以及目標(biāo)實(shí)體向量進(jìn)行預(yù)處理獲得文本特征向量；

步驟S30，將文本特征向量以及文本矩陣進(jìn)行預(yù)處理獲得新的文本特征向量；

將步驟S30重復(fù)M次，每重復(fù)一次所獲得的文本特征向量將作為下一次的輸入，最終獲得M個文本特征向量；

步驟S40，將所有文本特征向量拼接后進(jìn)行線性變換，輸入激活函數(shù)，獲得文本屬于各個感情類別的概率。

2.根據(jù)權(quán)利要求1所述的基于卷積注意力機(jī)制網(wǎng)絡(luò)的實(shí)體級別情感分類方法，其特征在于，所述步驟S20的預(yù)處理包括：

步驟S21，將所獲得的文本矩陣以及目標(biāo)實(shí)體向量輸入卷積注意力機(jī)制單元，獲得文本中每個詞的注意力權(quán)重；

步驟S22，利用注意力權(quán)重將文本矩陣所包含的詞向量進(jìn)行加權(quán)求和，獲得文本特征向量。

3.根據(jù)權(quán)利要求2所述的基于卷積注意力機(jī)制網(wǎng)絡(luò)的實(shí)體級別情感分類方法，其特征在于，所述步驟S22中利用注意力權(quán)重將文本矩陣所包含的詞向量進(jìn)行加權(quán)求和具體為：

步驟S221，將文本中每個詞所對應(yīng)的詞向量乘以對應(yīng)的注意力權(quán)值；

步驟S222，將步驟S221獲得的向量集合進(jìn)行求和，獲得文本特征向量。

4.根據(jù)權(quán)利要求1所述的基于卷積注意力機(jī)制網(wǎng)絡(luò)的實(shí)體級別情感分類方法，其特征在于，所述步驟S30的預(yù)處理包括：

步驟S31，將所獲得的文本的特征向量作為關(guān)鍵詞向量輸入卷積注意力機(jī)制單元；

步驟S32，將文本矩陣作為內(nèi)容矩陣輸入卷積注意力機(jī)制單元；

步驟S33，重復(fù)獲得注意力權(quán)重以及加權(quán)求和操作的操作，獲得新的文本特征向量。

5.根據(jù)權(quán)利要求1所述的基于卷積注意力機(jī)制網(wǎng)絡(luò)的實(shí)體級別情感分類方法，其特征在于，所述步驟S10包括：

步驟S11，利用開源分詞算法對目標(biāo)文本進(jìn)行分詞獲得有序詞語集合；

步驟S12，利用從互聯(lián)網(wǎng)上獲得的大量文本預(yù)訓(xùn)練詞向量，針對文本中的每個詞以及目標(biāo)實(shí)體，利用預(yù)訓(xùn)練獲得的維度為D的連續(xù)向量表示詞語；

步驟S13，將文本中的每個詞語的詞向量按詞語順序排列并組合，獲得文本矩陣。

6.根據(jù)權(quán)利要求1所述的基于卷積注意力機(jī)制網(wǎng)絡(luò)的實(shí)體級別情感分類方法，其特征在于，所述方法中的所述卷積注意力機(jī)制包括：已知關(guān)鍵詞向量以及內(nèi)容矩陣；

將關(guān)鍵詞向量與內(nèi)容矩陣中每個詞向量進(jìn)行拼接，獲得“關(guān)鍵詞-內(nèi)容”矩陣；

使用若干指定大小的卷積核對“關(guān)鍵詞-實(shí)體”矩陣進(jìn)行卷積操作，獲得卷積特征矩陣；

將卷積特征矩陣與偏差向量相加；

使用雙曲正切函數(shù)作為卷積操作的激活函數(shù)，其公式表示為：

其中x表示特征矩陣中各個元素的值；

針對卷積特征矩陣當(dāng)中每一個單詞所對應(yīng)的特征向量，進(jìn)行最大化池化操作，獲得注意力權(quán)重特征；

使用softmax函數(shù)對所得注意力權(quán)重特征向量進(jìn)行歸一化；其中，softmax函數(shù)的公式表示為：

其中x_j表示特征向量中的第j個元素，x表示當(dāng)前的元素值。

7.根據(jù)權(quán)利要求6所述的基于卷積注意力機(jī)制網(wǎng)絡(luò)的實(shí)體級別情感分類方法，其特征在于，所述最大化池化操作具體包括：

僅保留特征向量所有元素中的最大值作為單詞所對應(yīng)的注意力權(quán)重特征值；

獲得維度與文本單詞數(shù)一致的注意力權(quán)重特征向量。

8.根據(jù)權(quán)利要求1所述的基于卷積注意力機(jī)制網(wǎng)絡(luò)的實(shí)體級別情感分類方法，其特征在于，所述步驟S40包括：

步驟S41，將所得的文本特征向量進(jìn)行拼接；

步驟S42，將拼接后向量與線性變換權(quán)重矩陣相乘，并加上偏置向量；

步驟S43，將線性變換后特征向量送入非線性激活函數(shù)，獲得文本屬于每一情感類別的概率。