[發明專利]一種基于Transformer的多粒度注意力模型的特定方面情感分析方法

有效

• 申請號: 202011125520.7
• 申請日: 2020-10-20
• 公開（公告）號: CN112232087B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 孫佳慧;韓萍;程爭
• 申請（專利權）人: 中國民航大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/04;G06N3/08
• 代理公司: 天津才智專利商標代理有限公司 12108
• 代理人: 龐學欣

一種基于Transformer的多粒度注意力模型的特定方面情感分析方法。該方法利用Transformer編碼器模塊和Tree Transformer編碼器模塊對特定方面和上下文進行語義建模，并結合注意力機制進行兩部分交互特征的學習，進而獲取有利于訓練情感分析模型的特征。本發明在特征提取上除了獲取詞語級特征，還有效獲取了體現語言層次結構及句法信息的短語級特征，此外，為避免單一池化造成部分有用信息的損失，本發明采用雙池化操作。通過實驗證明了該發明所述方法提高了特定方面情感極性判別的準確率。

技術領域

本發明屬于自然語言處理中的文本情感分析技術領域，特別是涉及一種基于Transformer的多粒度注意力模型的特定方面情感分析方法。

背景技術

情感分析是自然語言處理中的重要任務之一，其通過計算機輔助算法分析相關文本，進而獲取人們對于產品、服務、事件等對象所持有的意見、評價等主觀感受。除了給出總體評價外，人們通常也會從實體的多個角度進行評價，導致一段語句中包含多個情感極性，若采用傳統情感分析方法對整個句子進行情感極性分類，可能會使結果出現偏差。鑒于此，研究人員提出特定方面情感分析方法，其針對評論語句中各特定方面分別判定情感極性，逐漸成為情感分析的關鍵任務之一。例如，在關于餐廳的評論中“The food wasdefinitely good，but the price is too high.”，兩個特定方面詞“food”和“price”的情感極性分別為積極和消極。

近年來，深度學習方法特別是神經網絡模型在自然語言處理任務中不斷取得新的進展，在特定方面情感分析任務中也具有很好的表現。卷積神經網絡(convolutionalneural network，CNN)在卷積層利用窗口一定的濾波器獲取特征，但該模型只能獲取窗口內的單詞間依賴關系，無法獲取整個文本的結構信息。循環神經網絡(recurrent neuralnetwork，RNN)及其衍生模型，如長短時記憶網絡(long short-term memory，LSTM)和GRU(gated recurrent units)將句子視為單詞序列，獲取隱含狀態層的句法層面有效特征，在特定方面情感分析任務中獲得了較好的結果，但是這類模型所采用的長短時記憶機制會導致情感語義的疊加，當句子中存在多個情感極性不一致的特定方面時，模型的分辨率會受到影響，并且句子中單詞間的依賴程度會隨著距離的增加而減弱。由于注意力機制可以有效地關注重點信息，因此將CNN或RNN等神經網絡與注意力機制相結合，可使模型重點關注上下文中對判定相應特定方面情感極性的重要特征。這類模型雖然能夠在訓練時高度關注某些重要特征，但其通常使用的單一注意力模式，導致模型無法對特定方面與上下文間的交互關系進行深層次抽取。此外，該類模型還存兩個問題：其一，在特定方面不是單一詞語而是短語時，該類模型通常將幾個詞語的平均向量作為特定方面的表示，該方法雖然較為簡單，但無法充分體現短語中每個詞的特征，造成有用信息的損失；其二，在進一步獲取特定方面與上下文間的交互特征時，該類模型通常將特定方面/上下文特征矩陣進行平均池化后分別學習與上下文/特定方面中每個詞的注意力權重，但使用單一池化會造成部分有用信息的損失。

發明內容

為了解決上述問題，本發明的目的在于提供一種基于Transformer的多粒度注意力模型的特定方面情感分析方法。

為了達到上述目的，本發明提供的基于Transformer的多粒度注意力模型的特定方面極性判別方法包括按順序進行的下列步驟：

(1)利用向量空間模型，將待判定的上下文及其對應的特定方面用特征矩陣表示；

(2)將步驟(1)中獲得的上下文和特定方面的特征矩陣作為輸入，采用Transformer編碼器模塊分別獲取上下文和特定方面的詞語級特征；

(3)將步驟(1)中獲得的上下文的特征矩陣作為輸入，利用Tree Transformer編碼器模塊獲取上下文的短語級特征；