[發明專利]一種基于遷移學習的情感極性分析方法

在審

• 申請號: 202110455888.8
• 申請日: 2021-04-26
• 公開（公告）號: CN113326695A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 楊鵬;任炳先;周華健;于曉潭
• 申請（專利權）人: 東南大學
• 主分類號: G06F40/247
• 分類號: G06F40/247;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

1.一種基于遷移學習的情感極性分析方法，其特征在于，所述方法包括以下步驟：

步驟1，構建句子對數據集，

步驟2，訓練文本排序模型，

步驟3，參數遷移，

步驟4，訓練情感極性分析模型。

2.根據權利要求1所述的基于遷移學習的情感極性分析方法，其特征在于，

步驟1，構建句子對數據集，具體如下，按照設定的比例將情感極性分析數據集中每個句子的詞語位置擾亂，同時保留擾亂前的句子，每一組擾亂后的句子和正常語序的句子構成新數據集中的一條訓練數據。

3.根據權利要求1所述的基于遷移學習的情感極性分析方法，其特征在于，

步驟2，訓練文本排序模型，基于seq2seq的方式構建文本排序模型，首先將擾亂的句子作為模型輸入，用編碼器抽取出句子特征；然后逐字進行解碼，根據當前時間步的解碼特征預測輸出文字；最后將模型輸出與正常語序對應位置的文字作對比，基于交叉熵損失函數訓練模型參數。

4.根據權利要求1所述的基于遷移學習的情感極性分析方法，其特征在于，

步驟3，參數遷移，具體如下，首先構建情感極性分析模型，并使用與文本排序模型相同的編碼結構，然后將文本排序模型的編碼參數、詞向量參數遷移到情感極性分析模型中。

5.根據權利要求1所述的基于遷移學習的情感極性分析方法，其特征在于，步驟4，訓練情感極性分析模型，基于情感極性分析數據集，首先輸入評論文本，用編碼器抽取句子特征，然后用卷積神經網絡、循環神經網絡、注意力機制進一步抽取句子的局部特征、整體特征、降噪后的最終特征；最后對特征分類。

6.根據權利要求1所述的基于遷移學習的情感極性分析方法，其特征在于，步驟2，訓練文本排序模型，具體如下：

子步驟2-1，句子編碼，用Bert提取文本編碼特征，為便于描述，將模型相關符號的含義匯總到表1中，首先輸入長為m的文本序列X＝(token₁,token₂,…,token_m)，根據token在vocab中的索引id_i提取token的編碼Emb_i并計算出e_i，用s表示整個句子構成的文本矩陣，e_i和s的具體計算過程如公式(1)、(2)所示，其中position表示位置編碼，segment表示段編碼,

表1 模型相關符號含義

e_i＝Bert(Emb_i+segment_i+postion_i) (1)

s＝(e₁,e₂,…,e_m) (2)

然后將s送入含有12層transformer序列的編碼模型提取出最終的編碼輸出S，公式(3)中LN是層歸一化操作，MSA是多頭自注意力操作，以第z層為例，首先用MSA處理上一層的編碼輸出s^z-1，然后經過殘差和LN操作獲得如公式(3)所示，最后用FFN對進行處理，并結合殘差和LN獲取層編碼輸出s^z如公式(4)所示，FFN的計算過程如公式(5)所示，其中W₁、b₁、W₂、b₂均為模型可學習參數,

FFN(x)＝max(0,xW₁+b₁)W₂+b₂ (5)

子步驟2-2，句子解碼，使用GRU作為解碼網絡的基本單元，解碼過程如公式(6)、(7)所示，公式(6)中，d_t-1表示輸入、h_t-1表示上一步的隱層輸出，d₀對應CLS(vocab中一個特殊字符，表示一句話的開始)作為輸入，公式(7)表示解碼過程的隱層初始化，即首先將編碼輸出S進行平均池化，然后用線性層處理后表示初始隱層輸入h₀，其中W_s、b_s均為模型可學習參數,

h_t＝GRU(d_t-1,h_t-1) (6)

h₀＝W_savg(S)+b_s (7)

子步驟2-3，輸出預測，以每一步的解碼隱層輸出h_t作為query，以編碼輸出S為key和value，用dot-product attention的方式計算語境向量context如公式(8)所示，然后拼接context和h_t作為當前解碼步的最終特征，并將拼接特征經過線性變換和softmax函數處理后，獲得模型的預測概率分布p，過程如公式(9)所示,其中W_p、b_p均為模型可學習參數，最后，基于預測值p和實際值y計算模型對數損失loss如公式(10)所示，其中m表示詞典vocab大小,

context＝Attention(h_t,S,S) (8)

p＝softmax(W_p[context,h_t]+b_p) (9)

。

7.根據權利要求1所述的基于遷移學習的情感極性分析方法，其特征在于，步驟4，訓練情感極性分析模型，具體如下，

子步驟4-1，句子編碼，由于編碼模型與文本排序模型完全一致，故情感極性模型的編碼過程與子步驟2-1相同，用S表示編碼輸出；

子步驟4-2，抽取局部特征，使用一維卷積網絡提取編碼輸出S的局部特征表示T，如公式(11)所示；每一步的具體計算結果T_i如公式(12)所示，其中W和b為模型可學習參數；×表示卷積計算；i表示第i步；k表示卷積核寬度(本實施例使用寬度為2的卷積核)，

T＝Conv(S) (11)

T_i＝tanh(W×S_i:i+k-1+b) (12)

子步驟4-3，抽取整體特征，用Bi-GRU抽取句子整體特征C如公式(13)、(14)所示，雙向GRU包括一個正向GRU從左到有的閱讀T生成一個反向GRU生成nt表示上一步卷積輸出的長度，和分別表示GRU模型第j步時兩個方向的隱層輸出，將和拼接后得到每一步的特征h_j如公式(15)所示，

子步驟4-4，注意力降噪，結合注意力機制，對文本特征C做進一步的優化，將h_j通過感知機(MLP)得到v_j如公式(16)，其中W_a和b_a為模型可學習參數，通過v_j和語境C的相似度衡量其重要性如公式(17)所示，通過加權求和的方式計算句子最終語義特征C_a如公式(18)所示，

v_j＝tanh(W_ah_j+b_a) (16)

子步驟4-5，情感極性分類，首先將句子特征C_a經過線性變化、softmax函數處理后，獲得模型的分類概率分布p，過程如式(19)所示，其中W_p和b_p為模型可學習參數；然后基于p和實際標簽y計算模型對數損失如式(20)所示，其中n表示類別數目

p＝softmax(W_pC_a+b_p) (19)