[發(fā)明專利]一種基于多源領(lǐng)域適應(yīng)聯(lián)合學(xué)習(xí)的跨領(lǐng)域文本情感分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910380979.2
• 申請(qǐng)日: 2019-05-08
• 公開(kāi)（公告）號(hào): CN110032646B
• 公開(kāi)（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 趙傳君
• 申請(qǐng)（專利權(quán)）人: 山西財(cái)經(jīng)大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06N3/04
• 代理公司: 北京中南長(zhǎng)風(fēng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11674
• 代理人: 張學(xué)元

1.一種基于多源領(lǐng)域適應(yīng)聯(lián)合學(xué)習(xí)的跨領(lǐng)域文本情感分類方法，其特征在于，包括以下步驟：

S1，多源領(lǐng)域適應(yīng)聯(lián)合學(xué)習(xí)中遷移多個(gè)源領(lǐng)域任務(wù)Task_Sk(1≤k≤K)的情感知識(shí)，并利用目標(biāo)領(lǐng)域帶標(biāo)簽數(shù)據(jù)D_L，同時(shí)學(xué)習(xí)源領(lǐng)域任務(wù)Task_Sk和目標(biāo)領(lǐng)域任務(wù)Task_T，得到假設(shè)目標(biāo)是最小化經(jīng)驗(yàn)損失提高目標(biāo)領(lǐng)域任務(wù)上的分類效果；

S2，構(gòu)建特定領(lǐng)域的深度特征提取模型，使用在無(wú)監(jiān)督語(yǔ)料上得到的預(yù)訓(xùn)練詞向量作為深度特征提取模型的輸入，同時(shí)詞向量在針對(duì)特定的任務(wù)時(shí)調(diào)整；

步驟S2還包括：

S21，輸入為文本的詞序列x＝{x₁,x₂,…x_n}，n為詞的個(gè)數(shù)，其中x_i∈R^d為第i-th個(gè)詞的嵌入式表示，d為詞向量的維度；

S22，門循環(huán)單元細(xì)胞包含更新門z_t，重置門r_t，候選門和輸出h_t；

S23，雙向門循環(huán)單元包含正向和反向兩個(gè)隱層，兩個(gè)方向的結(jié)果聯(lián)合到最終的輸出，

其中，為t時(shí)刻正向門循環(huán)單元輸出，x_t為t時(shí)刻輸入，為t-1時(shí)刻正向門循環(huán)單元輸出，GRU為門循環(huán)單元，為t時(shí)刻逆向門循環(huán)單元輸出，為t-1時(shí)刻逆向門循環(huán)單元輸出，h_t為雙向門循環(huán)單元輸出；

S24，雙向門循環(huán)單元的輸出序列h＝{h₁,h₂,…h(huán)_n}作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，在卷積神經(jīng)網(wǎng)絡(luò)中，輸入層雙向門循環(huán)單元生成的特征向量自頂向下排列生成的矩陣W∈R_n×d，在卷積層中，卷積的窗口大小為N元語(yǔ)法，x_i:i+m-1代表m個(gè)詞，即詞x_i，x_i+1，和x_i+m-1；

S25，新的特征g_i由x_i:i+m-1生成，g_i＝ReLU(e^T·x_i:i+m-1+b)，其中，ReLU為線性單元激活函數(shù)，e∈R_m×d為卷積核，b∈R為偏置項(xiàng)，得到卷積矩陣g＝[g₁,g₂…g_n-h+1]；

S26，在池化層，使用最大池化方法對(duì)卷積層得到的特征映射抽取最大值，池化層輸出為每個(gè)特征映射g的最大值，即最終l個(gè)卷積核得到的特征向量為不僅抽取出了句子中的情感信息，還保持了順序信息；

S27，在情感分類階段，在池化層后，輸出的特征向量z通過(guò)全連接的方式被連接Softmax 層，

其中y為情感標(biāo)簽，w為全連接層的參數(shù)，z為卷積核得到的特征向量，為偏置項(xiàng)；

S3，為了預(yù)訓(xùn)練深度特征提取模型底層參數(shù)，使用源領(lǐng)域和目標(biāo)領(lǐng)域的數(shù)據(jù)執(zhí)行編碼—解碼操作初始化雙向門循環(huán)單元網(wǎng)絡(luò)的參數(shù)，編碼解碼的操作流程為x→C→h；

步驟S3還包括：

S31，為了預(yù)訓(xùn)練深度特征提取模型底層參數(shù)，使用源領(lǐng)域和目標(biāo)領(lǐng)域的數(shù)據(jù)執(zhí)行編碼—解碼操作初始化雙向門循環(huán)單元網(wǎng)絡(luò)的參數(shù)，編碼通過(guò)雙向門循環(huán)單元的非線性變換輸入詞序列x到語(yǔ)義表示C，解碼操作的輸出為h＝{h₁,h₂…h(huán)_n}，編碼解碼的操作流程為x→C→h；

S32，目標(biāo)是最小化重構(gòu)損失為

其中，X為詞序列，h為解碼輸出，n為維度，在預(yù)訓(xùn)練雙向門循環(huán)單元網(wǎng)絡(luò)后，通過(guò)目標(biāo)領(lǐng)域任務(wù)Task_T和源領(lǐng)域任務(wù)Task_Sk的帶標(biāo)簽數(shù)據(jù)實(shí)現(xiàn)訓(xùn)練深度特征提取模型的參數(shù)；

S4，考慮到不同領(lǐng)域的情感分布的差異性，通過(guò)最小化參數(shù)遷移過(guò)程中的損失L_share實(shí)現(xiàn)情感知識(shí)的遷移，目標(biāo)是遷移源領(lǐng)域的知識(shí)到目標(biāo)領(lǐng)域的特征表示中；

步驟S4還包括：

S41，定義軟參數(shù)共享的損失為

其中W_T(BiGRU)和W_T(ConvNets)分別是在目標(biāo)領(lǐng)域任務(wù)Task_T中雙向門循環(huán)單元和卷積神經(jīng)網(wǎng)絡(luò)的參數(shù),W_Sk(BiGRU)和W_Sk(ConvNets)分別是在第k-th個(gè)源領(lǐng)域任務(wù)Tash_Sk中雙向門循環(huán)單元和卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，為目標(biāo)領(lǐng)域任務(wù)Softmax層的參數(shù)，是第k-th個(gè)源領(lǐng)域任務(wù)Softmax層的參數(shù)，為二范數(shù)；

S42，最小化損失項(xiàng)L_share減少不同領(lǐng)域的深度特征提取模型參數(shù)的差異，通過(guò)軟參數(shù)共享，不僅得到源領(lǐng)域任務(wù)的情感表示，還通過(guò)參數(shù)調(diào)整和聯(lián)合訓(xùn)練得到目標(biāo)領(lǐng)域任務(wù)的共享表示；

S5，在源領(lǐng)域任務(wù)和目標(biāo)領(lǐng)域任務(wù)上的整體情感損失為ε為權(quán)重參數(shù)；

步驟S5還包括：

S51，使用交叉熵?fù)p失函數(shù)作為損失函數(shù)，在源領(lǐng)域任務(wù)Task_Sk上的損失函數(shù)為

其中，n為源領(lǐng)域的樣本數(shù)，C_Sk為源領(lǐng)域的標(biāo)簽數(shù)，是真實(shí)標(biāo)簽，為預(yù)測(cè)標(biāo)簽；

S52，在目標(biāo)領(lǐng)域任務(wù)Task_T上的損失函數(shù)為

其中，N為目標(biāo)領(lǐng)域的樣本數(shù)，C_T為目標(biāo)領(lǐng)域的標(biāo)簽數(shù)，是真實(shí)標(biāo)簽，為預(yù)測(cè)標(biāo)簽；

S53，在源領(lǐng)域任務(wù)和目標(biāo)領(lǐng)域任務(wù)上的整體情感損失為

S6，源領(lǐng)域任務(wù)Task_Sk的特征表示記為R_Sk，目標(biāo)領(lǐng)域任務(wù)Task_T的特征表示記為R_T，經(jīng)過(guò)核希爾伯特空間映射后源領(lǐng)域任務(wù)和目標(biāo)領(lǐng)域任務(wù)的分布相似，即R_Sk≈R_T；

步驟S6還包括：

S61，源領(lǐng)域任務(wù)和目標(biāo)領(lǐng)域任務(wù)Task_T的分布距離為

其中，為領(lǐng)域的中心，為領(lǐng)域第c類的類中心， Center(D_T)為領(lǐng)域D_T的中心，為領(lǐng)域D_T第c類的類中心；

S62，源領(lǐng)域和目標(biāo)領(lǐng)域D_T的距離適應(yīng)性損失定義為

其中，為源領(lǐng)域中樣本的個(gè)數(shù)，|D_T|為目標(biāo)領(lǐng)域D_T中樣本的個(gè)數(shù)；X→H為非線性變換，H為核希爾伯特空間；為源領(lǐng)域任務(wù)中標(biāo)簽的個(gè)數(shù)，C_T為目標(biāo)領(lǐng)域任務(wù)中標(biāo)簽的個(gè)數(shù)；

S63，源領(lǐng)域和目標(biāo)領(lǐng)域間的領(lǐng)域融合損失記為

S7，定義聯(lián)合損失函數(shù)L＝L_sen+λL_share+ηL_domain+σReg，優(yōu)化學(xué)習(xí)的目標(biāo)函數(shù)是和參數(shù)集更新策略；

步驟S7還包括：

S71，為提高深度特征提取模型的泛化性和防止過(guò)擬合，設(shè)計(jì)正則項(xiàng)Reg如下：

S72，設(shè)計(jì)總的損失函數(shù)如下：

L＝L_sen+λL_share+ηL_domain+σReg

其中λ為參數(shù)共享?yè)p失的權(quán)重，η為領(lǐng)域融合損失的權(quán)重，σ為正則項(xiàng)的權(quán)重；

S73，基于以上定義的損失函數(shù)，使用多個(gè)源領(lǐng)域任務(wù)和目標(biāo)領(lǐng)域任務(wù)中的帶標(biāo)簽數(shù)據(jù)對(duì)多源領(lǐng)域適應(yīng)聯(lián)合學(xué)習(xí)深度特征提取模型進(jìn)行聯(lián)合訓(xùn)練，優(yōu)化的目標(biāo)是

深度特征提取模型的參數(shù)集記為θ，包含W_T(BiGRU)、W_Sk(BiGRU)、W_T(ConvNets)、W_Sk(ConvNets)、和

S74，為了實(shí)現(xiàn)后向傳播過(guò)程，參數(shù)通過(guò)隨機(jī)梯度下降的方法進(jìn)行更新和訓(xùn)練：

其中μ為學(xué)習(xí)率；

S75，參數(shù)集θ的更新策略為

聯(lián)合學(xué)習(xí)的目標(biāo)是最小化損失函數(shù)并得到此時(shí)最優(yōu)的參數(shù)集θ_opt，

其中，和為目標(biāo)領(lǐng)域任務(wù)Task_T中雙向門循環(huán)單元網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)在第t+1次迭代的參數(shù)，和為雙向門循環(huán)單元網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)在第t次迭代的參數(shù)；

對(duì)于k＝1,2…K，

其中，和為在源領(lǐng)域任務(wù)中雙向門循環(huán)單元網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)在第t+1次迭代的參數(shù)，和為雙向門循環(huán)單元網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)在第t次迭代的參數(shù)；

其中，和分別為目標(biāo)領(lǐng)域任務(wù)Task_T和源領(lǐng)域任務(wù)在第t+1次迭代的參數(shù)，和分別為在第t次迭代的參數(shù)；

S76，損失函數(shù)的偏導(dǎo)數(shù)如下：

S8，對(duì)于每個(gè)源領(lǐng)域任務(wù)和目標(biāo)領(lǐng)域任務(wù)，對(duì)每個(gè)組合對(duì)(Task_Sk,Task_T)進(jìn)行交替訓(xùn)練，通過(guò)以這種方式訓(xùn)練深度特征提取模型，提高每個(gè)任務(wù)的性能，而無(wú)需找到更多領(lǐng)域特定的訓(xùn)練數(shù)據(jù)，使用隨機(jī)梯度下降法訓(xùn)練參數(shù)，使用迭代的方法獲得最佳參數(shù)集θ_opt。