[發(fā)明專利]一種基于BERT神經(jīng)網(wǎng)絡(luò)與多語義學(xué)習(xí)的方面級情感分析方法

有效

• 申請?zhí)枺?/td>: 202210222416.2
• 申請日: 2022-03-07
• 公開（公告）號: CN114579707B
• 公開（公告）日: 2023-07-28
• 發(fā)明（設(shè)計）人: 羅建華;朱宇翔;朱新華;陳意山
• 申請（專利權(quán)）人: 桂林旅游學(xué)院
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/211;G06F40/216;G06F40/30;G06F18/241;G06N3/0455;G06N3/045;G06N3/08
• 代理公司: 南寧東智知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 45117
• 代理人: 裴康明

本發(fā)明公開了一種基于BERT神經(jīng)網(wǎng)絡(luò)與多語義學(xué)習(xí)的方面級情感分析方法，涉及人工智能中的自然語言識別處理領(lǐng)域。首先，充分利用BERT神經(jīng)網(wǎng)絡(luò)模型廣泛的預(yù)訓(xùn)練和后訓(xùn)練，有效解決方面級情感分析中語料數(shù)量小的問題。其次，提出了一個基于BERT神經(jīng)網(wǎng)絡(luò)的多語義學(xué)習(xí)模型，該模型由左語義、右語義、方面目標語義和全局語義學(xué)習(xí)模塊組成。進而，為捕獲每個上下文詞和方面目標之間的語義依賴性，提出了一種基于BERT神經(jīng)網(wǎng)絡(luò)和多頭注意力機制的方面感知增強方法。最后，提出了一種基于線性變換和多頭注意力的二級語義融合與互補方法，以更有效的方法解決自然語言識別處理中的方面級情感分析問題。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言識別處理領(lǐng)域中的情感分析，具體是一種基于BERT(Bidirectional?Encoder?Representations?from?Transformers)神經(jīng)網(wǎng)絡(luò)與多語義學(xué)習(xí)的方面級情感分析方法。該方法以BERT語言模型為基礎(chǔ)，提出了一種由多個語義學(xué)習(xí)模塊組成、具有方面感知增強的方面級情感分析模型，產(chǎn)生強大的情感語義表征，以實現(xiàn)緩解方面級情感分析方法中普遍存在的細膩情感分析與其語料數(shù)量小之間的矛盾問題，可廣泛應(yīng)用于各個領(lǐng)域的方面級情感分析任務(wù)中。

背景技術(shù)

方面級情感分類的目的是預(yù)測方面詞在句子或者文檔中的極性，它是一項細粒度情感分析的任務(wù)，與傳統(tǒng)的情感分析任務(wù)不同，它是在方面詞上做情感極性分析(一般為積極、消極、中性三個分類)。方面級情感分類常用在評論人的評論句子中，如：商場購物評論、餐飲評論、電影評論等。方面級情感分類，通常在一個句子中有多個方面詞及其相關(guān)的情感極性，例如句子“The?environment?is?romantic,but?the?food?is?horrible，對于方面詞“environment”它是積極的，但對于方面詞“food”它是消極的。總的來說：傳統(tǒng)的句子情感分類任務(wù)是判斷一句話的情感，而方面級情感分類任務(wù)是基于方面詞去判斷方面詞極性的情感分類任務(wù)。

隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，各種神經(jīng)網(wǎng)絡(luò)如Long?Short-Term?Memory(LSTM)、?Deep?Memory?Network和Google?AI?Language提出的Bidirectional?EncoderRepresentations?from?Transformers(BERT)語言模型被應(yīng)用于方面極性分類，從而為其提供端到端的分類方法，而無需任何特征工程工作。然而，當(dāng)句子中有多個目標時，方面極性分類任務(wù)需要區(qū)分不同方面的情緒。因此，與文檔級情感分析中只有一個整體情感取向相比，方面極性分類任務(wù)更加復(fù)雜，面臨更多挑戰(zhàn)，主要體現(xiàn)在以下兩個方面：首先，與文檔級情感分析相比，方面極性分類任務(wù)需要更多的語義特征才能進行更精細的情感分析。為了實現(xiàn)這一目標，目前針對方面極性分類的深度學(xué)習(xí)方法提出了多種以方面為中心的情感語義學(xué)習(xí)方法，例如：基于注意力的語義學(xué)習(xí)、位置衰減、左右語義學(xué)習(xí)、方面連接與全局語義學(xué)習(xí)等，但每種方法都存在一些不足，需要進行多種語義的綜合才能達到較好的效果。另一方面，方面極性分類的深度學(xué)習(xí)方法是完全監(jiān)督的機器學(xué)習(xí)，需要足夠數(shù)量的標記數(shù)據(jù)來訓(xùn)練準確的分類器。然而，基于實體目標的精細情感極性標記是一項復(fù)雜且耗時的任務(wù)，因而方面極性分類的語料庫通常較小。因此，如何在小語料庫上訓(xùn)練出穩(wěn)定有效的模型是方面極性分類的深度學(xué)習(xí)方法面臨的一大挑戰(zhàn)。為了解決上述問題，本發(fā)明充分利用BERT語言模型廣泛的預(yù)訓(xùn)練和后訓(xùn)練，有效解決方面級情感分析中語料數(shù)量小的問題；同時，梳理和改進當(dāng)前方面極性分類的各種語義學(xué)習(xí)模型，并將它們與BERT語言模型相結(jié)合，提出了一種新的基于BERT與多語義學(xué)習(xí)的方面級情感分析方法。

發(fā)明內(nèi)容

本發(fā)明公開了一種基于BERT神經(jīng)網(wǎng)絡(luò)與多語義學(xué)習(xí)的方面級情感分析方法，以BERT神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，提出了一種由多個語義學(xué)習(xí)模塊組成、具有方面感知增強的方面級情感分析模型，產(chǎn)生強大的情感語義表征，以更有效的方法解決方面級情感分析問題。

為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：

一種基于BERT神經(jīng)網(wǎng)絡(luò)與多語義學(xué)習(xí)的方面級情感分析方法，其特征在于包括以下步驟：