[發(fā)明專利]情感分析模型訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202211326927.5
• 申請(qǐng)日: 2022-10-27
• 公開（公告）號(hào): CN115392237B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 桑佳俊
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F40/289;G06F40/30;G06F18/24;G06F18/25;G06N3/04;G06N3/08
• 代理公司: 深圳市沃德知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 郭夢(mèng)霞

1.一種情感分析模型訓(xùn)練方法，其特征在于，所述方法包括：

提取訓(xùn)練文本中包括真實(shí)情感標(biāo)簽的情感關(guān)鍵詞，構(gòu)建由所述訓(xùn)練文本中每個(gè)詞的詞嵌入向量組成的嵌入向量序列；

利用所述嵌入向量序列對(duì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，并獲取預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)；

基于所述模型參數(shù)利用快速梯度符號(hào)法計(jì)算所述情感關(guān)鍵詞對(duì)應(yīng)的關(guān)鍵擾動(dòng)，基于所述關(guān)鍵擾動(dòng)向所述嵌入向量序列對(duì)應(yīng)的情感關(guān)鍵詞添加原始的關(guān)鍵擾動(dòng)，利用線性遞減法向所述對(duì)應(yīng)的情感關(guān)鍵詞的預(yù)設(shè)數(shù)量的前詞和后詞添加擾動(dòng)，得到對(duì)抗文本；

將所述對(duì)抗文本輸入至所述預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)模型中，得到對(duì)抗預(yù)測(cè)情感標(biāo)簽；

計(jì)算所述對(duì)抗預(yù)測(cè)情感標(biāo)簽與所述真實(shí)情感標(biāo)簽之間的對(duì)抗損失值，判斷所述對(duì)抗損失值是否小于預(yù)設(shè)損失閾值；

在所述對(duì)抗損失值不小于所述預(yù)設(shè)損失閾值時(shí)，調(diào)整所述預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，并返回上述將所述對(duì)抗文本輸入至所述預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)模型中，得到對(duì)抗預(yù)測(cè)情感標(biāo)簽的步驟；

在所述對(duì)抗損失值小于所述預(yù)設(shè)損失閾值時(shí)，確定所述預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)模型為目標(biāo)情感分析模型。

2.如權(quán)利要求1所述的情感分析模型訓(xùn)練方法，其特征在于，所述構(gòu)建由所述訓(xùn)練文本中每個(gè)詞的詞嵌入向量組成的嵌入向量序列，包括：

去除所述訓(xùn)練文本中的停用詞及標(biāo)點(diǎn)符號(hào)，得到標(biāo)準(zhǔn)文本；

對(duì)所述標(biāo)準(zhǔn)文本進(jìn)行文本分詞及向量轉(zhuǎn)化，得到所述標(biāo)準(zhǔn)文本中每個(gè)詞的詞向量；

利用預(yù)設(shè)的詞向量嵌入模型分別對(duì)所述詞向量進(jìn)行前后向卷積，得到上下文信息；

根據(jù)所述上下文信息獲取上下文特征向量及位置嵌入向量；

將所述詞向量、上下文特征向量及位置向量進(jìn)行向量疊加，得到所述標(biāo)準(zhǔn)文本中每個(gè)詞的詞嵌入向量，合并所述標(biāo)準(zhǔn)文本中每個(gè)詞的詞嵌入向量，得到嵌入向量序列。

3.如權(quán)利要求1所述的情感分析模型訓(xùn)練方法，其特征在于，所述利用所述嵌入向量序列對(duì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，包括：

將所述嵌入向量序列輸入至預(yù)構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)模型中的隱藏層，得到所述嵌入向量序列的多個(gè)中間層向量特征及最后一層向量特征；

將所述最后一層向量特征與所述多個(gè)中間層向量特征進(jìn)行特征融合，得到所述嵌入向量序列對(duì)應(yīng)的訓(xùn)練文本特征；

利用所述預(yù)構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)對(duì)所述訓(xùn)練文本特征及所述最后一層向量特征進(jìn)行訓(xùn)練，直至所述深度神經(jīng)網(wǎng)絡(luò)模型收斂，得到預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)。

4.如權(quán)利要求3所述的情感分析模型訓(xùn)練方法，其特征在于，所述利用所述預(yù)構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)對(duì)所述訓(xùn)練文本特征及所述最后一層向量進(jìn)行訓(xùn)練，包括：

將所述訓(xùn)練文本特征及所述最后一層向量進(jìn)行全連接，得到所述嵌入向量序列的預(yù)測(cè)情感標(biāo)簽；

計(jì)算所述預(yù)測(cè)情感標(biāo)簽與所述情感關(guān)鍵詞對(duì)應(yīng)的真實(shí)情感標(biāo)簽之間的第一損失值；

根據(jù)所述第一損失值對(duì)所述深度神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，直至所述第一損失值小于預(yù)設(shè)預(yù)訓(xùn)練損失閾值。

5.如權(quán)利要求1所述的情感分析模型訓(xùn)練方法，其特征在于，所述基于所述模型參數(shù)利用快速梯度符號(hào)法計(jì)算所述情感關(guān)鍵詞對(duì)應(yīng)的關(guān)鍵擾動(dòng)，基于所述關(guān)鍵擾動(dòng)向所述嵌入向量序列添加擾動(dòng)，得到對(duì)抗文本，包括：

基于所述模型參數(shù)利用預(yù)設(shè)的損失函數(shù)計(jì)算所述預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)模型的第二損失值，根據(jù)所述第二損失值計(jì)算所述損失函數(shù)的梯度；

利用符號(hào)函數(shù)計(jì)算所述損失函數(shù)梯度的梯度方向；

將預(yù)構(gòu)建的擾動(dòng)因子與所述梯度方向相乘，得到所述情感關(guān)鍵詞對(duì)應(yīng)的關(guān)鍵擾動(dòng)；

利用線性遞減法向所述嵌入向量序列添加所述關(guān)鍵擾動(dòng)，得到對(duì)抗文本。

6.如權(quán)利要求1所述的情感分析模型訓(xùn)練方法，其特征在于，所述將所述對(duì)抗文本輸入至所述預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)模型中，得到對(duì)抗預(yù)測(cè)情感標(biāo)簽，包括：

利用所述預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)提取所述對(duì)抗文本的特征信息；

對(duì)所述特征信息進(jìn)行池化，得到所述對(duì)抗文本的語(yǔ)義特征；

利用預(yù)設(shè)的激活函數(shù)對(duì)所述語(yǔ)義特征進(jìn)行分類，得到所述對(duì)抗文本對(duì)應(yīng)的預(yù)測(cè)情感標(biāo)簽。