[發(fā)明專利]情感分析模型訓練方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202211326927.5
• 申請日: 2022-10-27
• 公開（公告）號: CN115392237B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 桑佳俊
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/289;G06F40/30;G06F18/24;G06F18/25;G06N3/04;G06N3/08
• 代理公司: 深圳市沃德知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 郭夢霞

本發(fā)明涉及人工智能技術(shù)，揭露了一種情感分析模型訓練方法，包括：獲取訓練文本中包括真實情感標簽的情感關(guān)鍵詞，構(gòu)建所述訓練文本的嵌入向量序列；利用所述嵌入向量序列訓練深度神經(jīng)網(wǎng)絡(luò)模型，并獲取訓練完成的神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)；基于所述模型參數(shù)向所述嵌入向量序列添加擾動，得到對抗文本；將對抗文本輸入至預訓練完成的深度神經(jīng)網(wǎng)絡(luò)模型中，得到預測情感標簽，根據(jù)預測情感標簽計算深度神經(jīng)網(wǎng)絡(luò)模型的對抗損失值，在對抗損失值小于預設(shè)損失閾值時，確定預訓練完成的深度神經(jīng)網(wǎng)絡(luò)模型為目標情感分析模型。本發(fā)明還提出一種情感分析模型訓練裝置、電子設(shè)備以及存儲介質(zhì)。本發(fā)明可以情感分析模型的預測準確度。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種情感分析模型訓練方法、裝置、電子設(shè)備及計算機可讀存儲介質(zhì)。

背景技術(shù)

情感分析是人們對產(chǎn)品、服務(wù)、組織、個人、問題、時間、話題及其屬性的觀點、情感、情緒、評價和態(tài)度的計算研究，具有廣闊的研究前景，是自然語言處理研究領(lǐng)域的一個重點方向。

現(xiàn)有的情感分析模型一般采用對抗訓練識別語句中的情感詞并進行情感分類。所述對抗訓練是一種引入噪聲的訓練方式，可以對參數(shù)進行正則化，提升模型魯棒性和泛化能力。但是，傳統(tǒng)的對抗訓練通常是針對整個句子計算對抗擾動，無法針對句子中的情感詞進行對抗訓練，導致情感分析模型在定位情感要素時出現(xiàn)偏差，造成情感分析模型的準確率低下。

發(fā)明內(nèi)容

本發(fā)明提供一種情感分析模型訓練方法、裝置及計算機可讀存儲介質(zhì)，其主要目的在于解決進行情感分析模型預測精確度較低的問題。

為實現(xiàn)上述目的，本發(fā)明提供的一種情感分析模型訓練方法，包括：

提取訓練文本中包括真實情感標簽的情感關(guān)鍵詞，構(gòu)建由所述訓練文本中每個詞的詞嵌入向量組成的嵌入向量序列；

利用所述嵌入向量序列對深度神經(jīng)網(wǎng)絡(luò)模型進行預訓練，并獲取預訓練完成的深度神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)；

基于所述模型參數(shù)利用快速梯度符號法計算所述情感關(guān)鍵詞對應(yīng)的關(guān)鍵擾動，基于所述關(guān)鍵擾動向所述嵌入向量序列添加擾動，得到對抗文本；

將所述對抗文本輸入至所述預訓練完成的深度神經(jīng)網(wǎng)絡(luò)模型中，得到對抗預測情感標簽；

計算所述對抗預測情感標簽與所述真實情感標簽之間的對抗損失值，判斷所述對抗損失值是否小于預設(shè)損失閾值；

在所述對抗損失值不小于所述預設(shè)損失閾值時，調(diào)整所述預訓練完成的深度神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，并返回上述將所述對抗文本輸入至所述預訓練完成的深度神經(jīng)網(wǎng)絡(luò)模型中，得到對抗預測情感標簽的步驟；

在所述對抗損失值小于所述預設(shè)損失閾值時，確定所述預訓練完成的深度神經(jīng)網(wǎng)絡(luò)模型為目標情感分析模型。

可選地，所述構(gòu)建所述訓練文本中每個詞的詞嵌入向量，包括：

去除所述訓練文本中的停用詞及標點符號，得到標準文本；

對所述標準文本進行文本分詞及向量轉(zhuǎn)化，得到所述標準文本中每個詞的詞向量；

利用預設(shè)的詞向量嵌入模型分別對所述詞向量進行前后向卷積，得到上下文信息；

根據(jù)所述上下文信息獲取上下文特征向量及位置嵌入向量；

將所詞向量、上下文特征向量及位置向量進行向量疊加，得到所述標準文本中每個詞的詞嵌入向量，合并所述標準文本中每個詞的詞嵌入向量，得到嵌入向量序列。

可選地，所述利用所述嵌入向量序列對深度神經(jīng)網(wǎng)絡(luò)模型進行預訓練，包括：

將所述嵌入向量序列輸入至預構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)模型中的隱藏層，得到所述嵌入向量序列的多個中間層向量特征及最后一層向量特征；