[發明專利]一種基于卷積神經網絡的方面級情感分析方法

有效

• 申請號: 201910798920.5
• 申請日: 2019-08-27
• 公開（公告）號: CN110502626B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 熊慶宇;吳超;高旻;楊正益;王凱歌
• 申請（專利權）人: 重慶大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G06N3/0464;G06N3/08
• 代理公司: 重慶西南華渝專利代理有限公司 50270
• 代理人: 郭桂林

1.一種基于卷積神經網絡的方面級情感分析方法，其特征在于，包括建立方面級情感分析模型，通過該模型構建方面級信息在文本中的相對位置矩陣，并將其與文本編碼進行融合，對關聯矩陣中方面級信息所對應的部分關聯矩陣進行抽取，對于由多單詞組成的方面級信息再進行均值化處理，將其作為最終的文本與方面信息之間的評分矩陣，其中，方面級情感分析模型包括詞嵌入模塊、相對位置編碼模塊、方面級注意力模塊和情感分類模塊：

詞嵌入模塊對輸入的語句和待分析的方面級別信息進行編碼，并將文本轉變成計算機語言；

相對位置編碼模塊根據待預測的方面級別信息在文本中的相對位置進行編碼，并將相對位置編碼和詞嵌入模塊所得到的文本編碼進行加權處理；

方面級注意力模塊通過注意力機制對方面級信息的編碼和經過相對位置模塊處理后的文本編碼進行處理，以此得到文本中所有單詞對于方面級信息情感提取的優先矩陣，并將其加權融入到文本編碼中；

情感分類模塊通過多層的卷積神經網絡將文本信息和方面級信息進行融合處理，通過卷積神經網絡中所包括的Softmax層對方面級信息的情感進行分類，進而得出情感結果；方面級情感分析模型包括以下分析步驟：

S1，輸入文本，通過詞嵌入模塊對輸入文本的每個單詞進行詞嵌入處理，得出文本中的詞向量、方面級信息及其對應編碼a；設定待預測的方面級信息；

S2，根據待預測的方面級信息對文本中的相對位置進行編碼，同時通過相對位置編碼函數對輸入文本的詞向量進行加權處理；

S3，在方面級注意力模塊中對矩陣中的參數進行隨機初始化，而后開始訓練矩陣，最后通過Softmax函數得到注意力矩陣；其中，對于含有多個單詞的方面級信息，對其進行均值化處理，得出文本中所有單詞對于方面信息的評分矩陣，而后將相對位置層處理后的文本編碼與評分矩陣進行加權處理，得到融合了評分矩陣的文本編碼M；

S4，通過不同大小的卷積核對文本編碼M和方面級信息編碼進行深度特征的提取，其中，文本編碼卷積后的結果通過函數tanh進行非線性化處理，而方面級信息卷積后的結果使用函數relu進行非線性化處理；S1中設定輸入文本為文本的詞向量為其中，n代表文本中包含的單詞數量；d_e代表詞向量的維度；方面級信息表示為：

其中，m代表文本中包含的方面級信息的數量；

設定待預測的方面級信息為通過詞嵌入處理后得到其中，k代表待預測方面級信息所包含的單詞數量；S2中的相對位置編碼函數為：

其中，是第i個單詞在文本中的位置，p_al是方面級信息最左邊單詞在文本中的位置，p_ar是方面級信息最右邊單詞在文本中的位置，是單詞在文本中的相對位置編碼值。

2.根據權利要求1所述的基于卷積神經網絡的方面級情感分析方法，其特征在于，S2中相對位置編碼函數對輸入文本的詞向量進行加權處理，該加權處理過程包括加權公式：

其中，h_i為輸入單詞經過相對位置編碼模塊編碼后的輸出，該相對位置編碼模塊的輸出為

3.根據權利要求2所述的基于卷積神經網絡的方面級情感分析方法，其特征在于，S3中對矩陣中的參數進行隨機初始化過程包括以下初始化公式：

其中，是和x相同維度的注意力矩陣,是模型參數,在訓練開始前對參數矩陣隨機初始化，d_k是x的維度大小；

Softmax函數公式為：

S(x)＝score(x,a)＝mean(F(A_t,index(a,x)))

其中，F(·)是一個矩陣切片操作函數,index(a,x)是方面級信息在文本中的索引位置。

4.根據權利要求2或3所述的基于卷積神經網絡的方面級情感分析方法，其特征在于，S3中對于含有多個單詞的方面級信息通過mean(·)函數進行均值化處理，而后融合評分矩陣的文本編碼M的融合公式為：M＝W(H*score(x,a))+b

其中，W和b分別是權值矩陣和偏置矩陣，方面級注意力模塊的輸出