[發(fā)明專利]一種基于遷移學(xué)習(xí)和注意力機(jī)制的跨語料庫情感識別方法

在審

• 申請?zhí)枺?/td>: 202110330443.7
• 申請日: 2021-03-24
• 公開（公告）號: CN113065344A
• 公開（公告）日: 2021-07-02
• 發(fā)明（設(shè)計(jì)）人: 王塔娜;張強(qiáng);王鵬飛;候亞慶
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F16/35;G06F40/126;G06N3/04;G06N3/08
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 隋秀文;溫福雪

1.一種基于遷移學(xué)習(xí)和注意力機(jī)制的跨語料庫情感識別方法，其特征在于，具體步驟如下：

S1：將源語料庫中對話部分劃分為t條的語句X＝[x₁，x₂，...，x_i...，x_t]，選取對話中所有說話人的文本數(shù)據(jù)；

S2：使用編碼解碼器架構(gòu)進(jìn)行建模；編碼解碼器使用三個(gè)順序組件以分層方式對會話進(jìn)行構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò)模型：編碼器循環(huán)神經(jīng)網(wǎng)絡(luò)用于句子編碼，上下文循環(huán)神經(jīng)網(wǎng)絡(luò)用于語句級對話上下文進(jìn)行建模，解碼器循環(huán)神經(jīng)網(wǎng)絡(luò)用于生成響應(yīng)句子；將步驟S1劃分好的每條語句送入循環(huán)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行編碼-上下文建模-解碼操作：

編碼操作：首先，將步驟S1劃分好的每條語句送入編碼器循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼，并通過注意力機(jī)制獲得編碼過程中情感相關(guān)的隱藏層向量，在某一時(shí)刻t進(jìn)行如下公式所示的計(jì)算：

其中，表示編碼器在i時(shí)刻的狀態(tài)輸出，f^es表示源任務(wù)編碼器循環(huán)神經(jīng)網(wǎng)絡(luò)函數(shù)，Attention表示進(jìn)行注意力機(jī)制計(jì)算；

上下文建模：將編碼操作中得到的送入到上下文循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行對話上下文建模，將得到t時(shí)間點(diǎn)的隱藏層狀態(tài)其中i＝1，2，...，t：

其中，f^cs表示源任務(wù)上下文循環(huán)神經(jīng)網(wǎng)絡(luò)函數(shù)；

解碼操作：使用解碼器循環(huán)神經(jīng)網(wǎng)絡(luò)用于生成響應(yīng)句子x_t+1：

其中，f^ds表示源任務(wù)解碼器循環(huán)神經(jīng)網(wǎng)絡(luò)函數(shù)；編碼解碼器架構(gòu)通過最大似然估計(jì)目標(biāo)arg max_θ∑_ilog p(X_i)將語料庫中的對話進(jìn)行整體訓(xùn)練；

S3：類似的，對目標(biāo)任務(wù)的目標(biāo)語料庫中每條語句送入循環(huán)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行編碼-上下文建模操作：

編碼操作：首先，將每條語句送入編碼器進(jìn)行編碼，并通過注意力機(jī)制獲得編碼過程中情感相關(guān)的隱藏層向量，在某一時(shí)刻t進(jìn)行如下公式所示的計(jì)算：

其中，表示編碼器在i時(shí)刻的狀態(tài)輸出，f^et表示目標(biāo)任務(wù)編碼器循環(huán)神經(jīng)網(wǎng)絡(luò)函數(shù)，Attention表示進(jìn)行注意力機(jī)制計(jì)算；

上下文建模：將編碼操作中得到的送入到上下文循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行對話上下文建模，將得到t時(shí)間點(diǎn)的隱藏層狀態(tài)其中i＝1，2，...，t：

其中，f^ct表示目標(biāo)任務(wù)上下文循環(huán)神經(jīng)網(wǎng)絡(luò)函數(shù)；

S4：通過定義空間注意力圖將注意力信息從源語料庫轉(zhuǎn)移到目標(biāo)語料庫的訓(xùn)練網(wǎng)絡(luò)中，完成知識遷移；定義循環(huán)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的激活張量其中由C個(gè)通道組成，空間維度為H×W，映射函數(shù)F將A作為輸入和輸出，則空間注意力圖計(jì)算如下：

F：

對于空間注意力圖，由于隱藏神經(jīng)元激活的絕對值表示神經(jīng)元相對于特定輸入的重要性，在跨通道維度計(jì)算隱藏神經(jīng)元激活的絕對值的統(tǒng)計(jì)信息，并構(gòu)建以下空間注意力映射：

其中，i∈{1，2，...，H}和j∈{1，2，...，W}，p表示在特定卷積層的源域和目標(biāo)域的激活映射進(jìn)行所有卷積響應(yīng)通道上的lp-范數(shù)池化計(jì)算；給定源任務(wù)的空間注意力圖，目標(biāo)是訓(xùn)練目標(biāo)任務(wù)不僅能做出正確的預(yù)測，而且還能擁有與源任務(wù)類似的注意力圖，源任務(wù)和目標(biāo)任務(wù)之間的遷移損失通過以下公式計(jì)算：

其中，和分別表示源任務(wù)和目標(biāo)任務(wù)的損失，W_AT表示遷移損失的權(quán)重，表示遷移損失；

具體計(jì)算如下：

其中，Θ表示空間注意圖，和分別表示目標(biāo)任務(wù)和源任務(wù)中的第j對空間注意力圖；計(jì)算選擇l1-范數(shù)池化計(jì)算；

S5：在完成步驟S4的知識遷移并在目標(biāo)任務(wù)語料庫上進(jìn)行編碼建模訓(xùn)練后，使用softmax分類器對目標(biāo)語句進(jìn)行情感分類并得到各類情感的識別率；最終結(jié)果輸出目標(biāo)語句的情感分類矩陣，從而能夠判斷每個(gè)句子說話人所處的情感狀態(tài)；

softmax分類器的分類計(jì)算以及訓(xùn)練過程中的損失函數(shù)Loss計(jì)算表達(dá)式如下：

其中，y是所有真實(shí)的情感標(biāo)簽，表示目標(biāo)任務(wù)中上下文循環(huán)神經(jīng)網(wǎng)絡(luò)t時(shí)間點(diǎn)的隱藏層狀態(tài)，W^o是權(quán)重矩陣，b^o為偏差項(xiàng)，為預(yù)測概率，c為情感類數(shù)，N表示樣本數(shù)量，y_i，j表示第i句話是第j類情感的真實(shí)標(biāo)簽，表示第i句話是第j類情感的預(yù)測概率。