[發明專利]一種基于雙向交互神經網絡的文本情感分析方法

在審

• 申請號: 201811257439.7
• 申請日: 2018-10-26
• 公開（公告）號: CN109522548A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 張立鵬;顧淑琴;張鵬
• 申請（專利權）人: 天津大學
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F16/35
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉玥

1.一種基于雙向交互神經網絡的文本情感分析方法，其特征在于：它包括如下步驟：

(1)：構建一個實體-文本情感語料集，該語料集的總樣本數為N，其中每條樣本包含一段文本和一個實體詞；

(2)：從(1)的實體-文本情感語料集中，隨機選取80％*N個樣本作為訓練集，10％*N個樣本劃分為驗證集和剩余的10％*N個樣本劃分為測試集，并分別對訓練集、驗證集和測試集進行預處理；

(3)：對預處理之后的文本和實體詞，構建神經網絡模型框架；根據實體詞在文本中的位置構造文本中每個詞的相對位置信息特征，并輸入到一個雙向交互的神經網絡模型中；運用方法如下：

3.1：根據實體詞的位置構造文本中每個詞的相對位置索引，假設一個實體詞出現在句子中，那么它的位置索引將被標記為“0”，而句子中的其他詞的位置索引將被表示為與當前實體詞的相對距離；

其中j_s和j_e分別代表實體詞在句子中的起始和結束位置索引，p_i可以被看作是句子中第i個詞關于實體詞的相對位置索引；

3.2：運用glove工具得到每個文本中單詞的詞向量w_i，同時建立一個位置信息的矩陣，每一個相對位置索引對應一個向量p_i；所述文本中的每個詞的表示x_i＝concat(w_i,p_i)，以及實體詞的表示e_i＝w_i；

3.3本的每個詞的詞向量連同它的相對位置信息向量按其在句子中的順序輸入到一個雙向長短期記憶網絡中，同時把實體詞本身也輸入到另一個雙向長短期記憶網絡網絡中；

其中，f代表遺忘門，i代表輸入門，o代表輸出門，σ代表sigmoid函數，W和b分別代表權重和偏置；其中，雙向的LSTM網絡分為forward(前向)和backward(后向)，通過用上述的公式，輸入每個詞的表示x_t(或實體詞表示e_t)，分別得到前向和后向的網絡隱層狀態表示和最后拼接兩個隱層狀態表示以得到對于實體詞，以相同的方式得到隱層狀態表示

3.4：根據上一步中得到的文本中每個詞的網絡隱層狀態表示，和實體中每個詞的網絡隱層狀態表示，計算基于雙向注意力機制的交互信息；具體如下，

3.41實體到文本的注意力計算：

其中α_ij表示從實體中第i個詞到句子中第j個詞的注意力權重，W和b分別代表權重矩陣和偏置項；

3.4文本到實體的注意力計算：

其中γ_i表示從句子表示到實體中第i個詞的注意力權重，代表文本句子隱層狀態表示的平均池化；

3.5：將最終的文本表示h_R輸入到一個非線性全連接神經網絡層得到神經網絡表示向量x，再將表示x輸入到softmax分類層輸出最終的類別y；

x＝tanh(W_Rh_R+b_R)

y＝softmax(W_sx+b_s)

(4)：定義(3)中的神經網絡模型損失函數為：

其中y_i代表真是類別標簽，代表預測結果，λ代表正則化系數，θ代表模型中所有的參數；

(5)：在訓練集上訓練神經網絡模型，每間隔一定批次，在驗證集上進行驗證神經網絡模型效果，記錄保存在驗證集上效果達到最優時的神經網絡模型參數；

(6)：用上一步中保存的最優的神經網絡模型模型去測試測試集上的樣本，最終得到每個測試樣本的預測結果，對比測試標簽，計算出分類準確率。

2.根據權利要求1所述的一種基于雙向交互神經網絡的文本情感分析方法，其特征在于，實體-文本情感語料集是由文本和對應的實體組成的。