[發明專利]用于細粒度情感分析的相互增強轉換方法

有效

• 申請號: 202010951154.4
• 申請日: 2020-09-11
• 公開（公告）號: CN112100376B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 蔣斌;侯靜;楊超
• 申請（專利權）人: 湖南大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06N3/04
• 代理公司: 長沙新裕知識產權代理有限公司 43210
• 代理人: 梁小林

1.用于細粒度情感分析的相互增強轉換方法，其特征在于：

包括依次連接的BERT層，雙向增強轉換層和卷積特征提取器；

BERT層使用預訓練的BERT生成序列的字表示；

雙向增強轉換層包括分別與屬性增強模塊和字轉換單元連接的雙向LSTM層，屬性增強模塊和一組字轉換單元，并且雙向增強轉換層應用層級結構實現了屬性和上下文的迭代交互學習；

雙向LSTM層用于捕捉文本之間的長依賴關系和位置信息，其編碼結果具有兩個去向，一個是屬性增強模塊，另一個是字轉換單元；

屬性增強模塊接收屬性表示和雙向LSTM層編碼結果的平均，最終輸出被增強的屬性表示，被增強的屬性表示被輸入到字轉換單元中；

屬性增強模塊利用提取的上下文特征對屬性進行強化；先將BERT輸出的屬性向量輸入到另一個雙向LSTM中，然后對所獲得的隱藏狀態向量應用平均池化方法，最后獲得初始的屬性表示；在獲得初始的屬性表示后，基于雙向LSTM輸出的語境化的字向量應用平均池化方法，獲得語境向量，然后，使用按點逐位相加的特征融合方法，將語境向量融合到初始的屬性表示中，形成作用于屬性的強化操作；

字轉換單元接收來自雙向LSTM層的編碼結果和來自屬性增強模塊的被強化的屬性表示；卷積特征提取器采用GCAE網絡接收屬性信息以控制句子的情感特征的傳遞，這進一步增強了屬性和上下文之間的聯系，此外，引入相對位置信息以更好的提取情感特征。

2.用于細粒度情感分析的相互增強轉換方法，其特征在于，推理及訓練的過程包括以下步驟：

步驟1、BERT層，使用預訓練的BERT生成序列的字表示，假設一個句子包含m個單詞，一個屬性包含n個單詞，通過BERT層可以獲得句子的向量表示和屬性的向量表示a＝{a₁,a₂,...,a_n}∈R^n×d，其中d表示BERT輸出層的維度；

步驟2、雙向增強轉換層，雙向LSTM層首先根據輸入生成語境化的字表示；然后，屬性增強模塊利用這些字表示進一步增強屬性表示；最后，字轉換單元基于語境化的字表示和被強化的屬性表示生成特定于屬性的字表示；

S21、雙向LSTM層，通過雙向LSTM層學習文本的上下文依賴關系；雙向增強轉換層通過層級結構被重復多次，最底部的雙向增強轉換層中的雙向LSTM的輸入是BERT層輸出的上下文表示；

下一個雙向增強轉換層中的雙向LSTM的輸入來自先前一個雙向增強轉換層中的字轉換單元的輸出；

雙向LSTM輸出的字表示可以被表示為

前向LSTM輸出一組隱狀態向量其中d_h表示隱藏單元的數量；后向LSTM也輸出一組隱狀態向量將兩個隱藏狀態列表連接起來就得到了雙向LSTM輸出的字表示其中

S22、屬性增強模塊，在首次屬性增強操作之前，先獲得初始的屬性表示；先將BERT輸出的屬性向量a＝{a₁,a₂,...,a_n}∈R^n×d輸入到另一個雙向LSTM中，然后對所獲得的隱藏狀態向量應用平均池化方法，最后獲得初始的屬性表示

在獲得初始的屬性表示后，基于雙向LSTM輸出的語境化的字向量h⁽¹⁾，通過平均池化層獲得一個向量將其稱為語境向量；然后，使用按點逐位相加的特征融合方法，將語境向量融合到初始的屬性表示中，形成作用于屬性的強化操作，表示為

得到最終的屬性表示是公式展開如下：

其中表示第i個雙向增強轉換層中的語境向量；

根據公式(1)，屬性在多個雙向增強轉換層中被不同的語境向量進行強化；

屬性向量有兩個去向，一個去向是同一個雙向增強轉換層中的字轉換單元，另一個去向是下一個雙向增強轉換層中的屬性增強模塊；

S23、字轉換單元，將屬性向量和字表示作為輸入，其中是由雙向LSTM層輸出的第i個字級表示，是被強化的屬性向量；

先將和的連接輸入到一個全連接層去獲得第i個特定于屬性的字表示

其中g(*)是一個非線性激活函數，“:”表示向量連接操作；和分別是權重矩陣和偏差；

采用信息保護機制確保從雙向LSTM層捕捉的上下文依賴信息不會被丟失，信息保護機制增強了特征的傳遞和使用，表示為：

其中是字轉換單元的輸出；

步驟3、卷積特征提取器，引入變量p_i以測量上下文中的第i個詞與當前屬性詞之間的相對位置信息，p_i的計算如下：

其中k是屬性中第一個單詞的索引，C是一個預先指定的常數，n是屬性詞組的長度；當對句子進行填充操作時，索引i可能大于句子的實際長度m；

將p_i作為權重乘以第L個雙向增強轉換層中第i個字轉換單元輸出的字表示：

此時的x_i為融入位置信息的字表示；

然后，將融入位置信息的句子表示X＝{x₁,x₂,...,x_m}和最終的屬性向量輸入到門控卷積網絡中以生成一個特征圖c：

s_i＝tanh(W_sX_i:i+k-1+b_s) (7)

c_i＝s_i×a_i (8)

其中k是卷積核大小，W_a，V_a，b_a，W_s和b_s均為學習的參數，×表示逐元素相乘；c_i是特征圖c中的一項，s_i是計算得到的情感特征，a_i是計算得到的屬性特征；

通過s個卷積核并應用最大池化方法獲得句子表示z：

z＝{max(c₁),...,max(c_s)} (9)

其中max(*)是一個求最大值的函數；最終，將z輸入到一個全連接層用于最終的情感預測：

其中softmax(*)是一個歸一化指數函數，W_f和b_f是可學習的參數；

步驟4、本文涉及到的用于細粒度情感分析的相互增強轉換方法可以在監督學習框架內以一種端到端的方式被訓練，從而優化所有的參數Θ，帶有L₂正則項的交叉熵被用作損失函數，被定義為：

其中y_i表示給定句子標記為每一種情感的真實概率，表示給定句子標記為每一種情感的估算概率，O表示情感極性的種類數目，λ是L₂正則項的參數。