[發明專利]基于混合注意力網絡的細粒度情感極性預測方法

有效

• 申請號: 201910333298.0
• 申請日: 2019-04-24
• 公開（公告）號: CN109948165B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 王英;孫小婉;王鑫;孫玉東;于尤婧;凌云志;馬涪元
• 申請（專利權）人: 吉林大學
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/211;G06F17/16;G06N3/045;G06N3/0464;G06N3/044;G06N3/047;G06N3/084
• 代理公司: 長春市恒譽專利代理事務所(普通合伙) 22212
• 代理人: 李榮武

本發明公開了一種基于混合注意力網絡的細粒度情感極性預測方法，旨在克服現有技術存在靈活性缺失、精度不足、難以獲取全局結構信息、訓練速度慢和注意力信息單一等問題。該方法的步驟為：1.根據評論文本句子確定文本上下文序列和特定方面目標詞序列；2.通過glove詞嵌入將序列映射成為兩個多維的連續詞向量矩陣；3.將兩矩陣經過多次不同線性變換，得到相應的變換矩陣；4.使用變換矩陣計算文本上下文自注意力矩陣與特定方面目標詞向量注意力矩陣，并將兩矩陣拼接得到雙注意力矩陣；5.對不同次線性變化后的雙注意力矩陣進行拼接，然后再次進行線性變化得到最終注意力表示矩陣；6.通過平均池化操作，經過全連接層厚輸入到softmax分類器中得到情感極性預測結果。

技術領域

本發明涉及一種自然語言處理領域的特定方面細粒度情感極性預測方法，更確切地說，本發明涉及一種基于混合注意力網絡的細粒度情感極性預測方法。

背景技術

社交網絡的迅猛發展為人們提供了發表和分享個人言論的廣闊平臺，各種網絡數據迅速膨脹，越來越多的人在網絡上發表意見和表達情感，用戶在針對某實體發表觀點時，除了在評論中給出總體評價外，通常也會針對該實體的多個方面發表觀點評論，對用戶評論的不同特定方面情感進行識別會幫助用戶更好的做出決策，因此識別網絡評論文本的特定方面情感極性成為重點和熱點問題。

目前，實現文本特定方面情感極性的預測主要有四種方法：基于情感詞典的方法、基于傳統機器學習的方法、基于基礎深度學習的方法和基于注意力機制與深度模型相結合的方法，但四種方法都在一定程度上存在不足：

1.前兩類方法都需要依賴大量的人工標注，需要對文本進行大量的預處理和復雜的特征工程，且推廣能力差，

基于詞典的方法：其模式是“詞典+規則”，即以情感詞典作為判斷評論情感極性的主要依據，同時兼顧評論數據中的語法結構，設計相應的判斷規則。

基于傳統機器學習的方法：通過人工標注一部分數據作為訓練集，然后對訓練集上的數據進行特征提取和學習來構建文本分類模型，最后使模型對未標注的數據進行預測，從而自動實現文本特定方面的情感極性預測；

2.第三種方法雖然降低了預處理和特征工程的工作量，但仍需要結合外部知識，對文中特定方面的關注度低，且通常使用的兩種深度學習神經網絡中，卷積神經網絡在卷積層使用濾波器抽取文本特征，只能獲取濾波器窗口內單詞間的依賴關系，無法獲取句子中所有單詞間的依賴關系,進而無法獲取整體結構信息.在圖像處理領域，相鄰像素點之間往往存在很大的相關程度，但在特定方面情感分析領域，由于修飾詞、語法規則和表達習慣的影響，使得相鄰單詞的相關程度并不高，循環神經網絡及其衍生網絡的原理是基于“人的認知是基于過往經驗和記憶”這一觀點提出，與卷積神經網絡不同，循環神經網絡不僅考慮前一時刻的輸入，而且賦予網絡對前面內容的記憶功能，但循環神經網絡及其衍生網絡這類序列模型，難以實現并行計算，訓練時間過慢，并且句子中單詞間的依賴程度會隨著距離增加而減弱，

基于深度學習的方法：使用卷積神經網絡、循環神經網絡等深度神經網絡對文本進行訓練，從而得到特定方面情感極性預測結果；

3.最后一類方法多數使用單一注意力機制與神經網絡相結合，難以獲取更深層次注意力信息，

雖然現有工作在一定程度上實現了文本特定方面情感極性的預測，但是都存在一定不足，基于情感詞典和機器學習的方法過度依賴人工標注導致靈活性差，基于卷積神經網絡的深度學習方法，難以獲取全局結構信息導致預測精度低，基于循環神經網絡的深度學習方法訓練時間過長，基于注意力機制與神經網絡相結合的方法，只考慮單一層面注意力信息，沒有對文本間的注意力信息進行更深層次的挖掘，因此，為了彌補上述缺點，提出一種基于混合注意力網絡的文本特定方面細粒度情感極性預測方法。

發明內容

本發明所要解決的技術問題是克服現有技術存在靈活性不足、精確度不夠、模型訓練時間過長、注意力機制單一等問題，提供了一種基于混合注意力網絡的文本特定方面細粒度情感極性預測方法。