[發明專利]一種方面級情感分析的預訓練語義組合細化方法

在審

• 申請號: 202310463820.3
• 申請日: 2023-04-26
• 公開（公告）號: CN116468049A
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 朱新華;曠中潔;提平;彭琦
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F18/241;G06N3/045;G06N3/0442;G06N3/0464;G06N3/048;G06N3/0985
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 覃永峰

本發明公開了一種方面級情感分析的預訓練語義組合細化方法，涉及人工智能中的自然語言識別處理領域。首先，提出了一種改進的預訓練語義全局細化方法，使用串行的多層逐點卷積對預訓練語義進行全局細化。其次，在全局語義細化中，使用門機制將輸出的池化向量與分類符的輸出向量相結合，以產生更具表現力的情感分類向量。再者，在語義細化層中添加了三個不同窗口尺寸的并行卷積神經網絡，進行多粒度局部語義細化，從而進一步加深模型對情感句子的理解。最后，將逐點卷積層數與并行卷積神經網絡的窗口尺寸設置為動態超參數，采用聯動測試的方式在不同語料中分別進行設置，從而使得模型在不同的語料中都有最佳表現。

技術領域

本發明涉及自然語言識別處理領域中的情感分析，具體是一種方面級情感分析的預訓練語義組合細化方法，可廣泛應用于各個領域的方面級情感分析任務中。

背景技術

方面級情感分類的目的是預測方面詞在句子或者文檔中的極性，它是一項細粒度情感分析的任務，與傳統的情感分析任務不同，它是在方面詞上做情感極性分析(一般為積極、消極、中性三個分類)。方面級情感分類常用在評論人的評論句子中，如：商場購物評論、餐飲評論、電影評論等。方面級情感分類，通常在一個句子中有多個方面詞及其相關的情感極性。

隨著人工神經網絡技術的不斷發展，各種神經網絡如Long?Short-Term?Memory(LSTM)、Deep?Memory?Network和Google?AI?Language提出的Bidirectional?EncoderRepresentations?from?Transformers(BERT)預訓練神經網絡語言模型被應用于方面極性分類，從而為其提供端到端的分類方法，而無需任何特征工程工作。當句子中有多個目標時，方面極性分類任務需要區分不同方面的情緒。因此，與句子級情感分析中只有一個整體情感類別相比，方面極性分類任務需要更細膩的情感分析，雖然可以通過預訓練神經網絡語言模型BERT對評語進行深入理解，但實驗表明BERT對兩極化的小語料，如SemEval2015task?12與SemEval?2016task?5，有較大的改進，而在包含大量中性評論的情感模糊的場景，如ACL14任務的Tweet語料，基于BERT的性能改進卻是有限的。因此，目前出現了在BERT之上增加并行多通道逐點卷積，對BERT輸出的情感分析語義進一步細化。然而，多通道逐點卷積僅能進行全局語義的細化，無法進行短語級的語義抽取，而評語句中經常使用一些短語來表達方面目標的情緒，如“熱情的氛圍(warm?vibe)”和“友好的服務(friendlyservice)”。為改進對方面級情感分析的預訓練語義的細化，本發明提出一種方面級情感分析的預訓練語義組合細化方法。首先，與使用并行多通道逐點卷積的現有全局細化方法不同，本發明使用串行的多層逐點卷積對BERT語義進行全局細化。更重要的是，與現有模型中僅使用細化輸出的池向量作為分類向量不同，本發明使用門機制將池化向量與分類符的輸出向量相結合，從而產生更具表現力的分類向量。其次，本發明提出多粒度短語抽取在方面級情感分析任務中也非常重要，并在語義細化層中添加了三個不同窗口尺寸的并行卷積神經網絡(CNNs)，進行多粒度局部語義細化。

發明內容

本發明公開了一種方面級情感分析的預訓練語義組合細化方法，包括以下步驟：

S1.將評語句子X與其待評測的方面目標A組成一個句子對，送入一個預訓練神經網絡語言模型BERT中，得到方面級情感分析的預訓練語義H，然后分別將H送入步驟S2的全局語義細化模塊與步驟S3的多粒度局部語義細化模塊；

S2.將預訓練語義H送入一個串行的多層逐點卷積層，進行逐點語義細化，得到全局語義細化的初級語義H^g，并將H^g和預訓練語義H進行組合，得到組合全局細化語義然后將的平均池化向量與中分類符的隱藏狀態相連接，通過一個門控機制組合成全局語義細化的輸出向量Z^g，最后轉步驟S4；