[發明專利]一種用于目標情感分類的多跳注意力深度模型、方法、存儲介質和終端

有效

• 申請號: 201910370891.2
• 申請日: 2019-05-06
• 公開（公告）號: CN110083705B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 李曉瑜;鄧鈺;鄭德生
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04
• 代理公司: 成都華風專利事務所(普通合伙) 51223
• 代理人: 張巨箭;徐豐

本發明公開了一種用于目標情感分類的多跳注意力深度模型、方法、存儲介質和終端，在模型中，前面各跳注意力計算模塊hop中使用由第一卷積操作模塊產生的二維詞匯組合特征matrix3，并將其注意力權值信息不斷向下層傳遞；而在最后一跳計算之前，模型使用注意力(第一注意力計算模塊)對輸入的一維詞匯進行加權處理(詞向量加權模塊)，再進行卷積操作(第二卷積操作模塊)，生成參與最后注意力計算的加權二維詞匯組合特征matrix4。本發明的模型同時擁有了一維和二維詞匯特征的注意力權值信息，使其能夠充分利用注意力機制在多維特征空間中提取和學習關于目標更多的隱藏信息，以更好地預測基于不同目標的情感極性。

技術領域

本發明涉及一種用于目標情感分類的多跳注意力深度模型、方法、存儲介質和終端。

背景技術

隨著互聯網和移動通訊技術的飛速發展，社交網絡和電子商務平臺已變成龐大的公共信息集散地，利用其中海量的數據對人們的情感和觀點進行分析有著重要的科研價值和社會價值。情感分析或觀點挖掘是人們對產品、服務、組織、個人、問題、事件、話題及其屬性的觀點、情感、情緒、評價和態度的計算研究。如何利用自然語言處理(NLP)技術對主觀意見文本進行情感分析正被越來越多的研究人員關注。作為情感分析的子任務，面向目標的細粒度情感分析可以針對特定對象有效發掘上下文中的深層情感特征，已經成為該領域研究的熱點問題。

近年來，深度學習作為人工智能領域發展最快的研究方向，在自然言語處理領域也取得了巨大的成功，并廣泛應用于各個NLP任務當中。相對于傳統的機器學習算法，深度學習不依賴人工構建特征，具有特征的自學習能力，非常適合語言文本的抽象、高維、復雜等特點，對機器翻譯、文本摘要、智能問答、詞性標注等系統性能改善顯著。同時，也有許多研究人員運用卷積神經網絡(CNN)和長短記憶網絡(LSTM)等深度學習模型解決文本情感極性分類問題，并取得了很好的效果。

注意力機制(attention mechanism)最早由圖像識別領域提出，可以讓模型有效關注局部特定信息，挖掘更深的特征信息。隨后，在自然語言處理領域，注意力機制被驗證依然有效。文獻首先將注意力機制與循環神經網絡結合，在編碼-解碼模型上計算輸入序列與輸出序列的對齊概率矩陣，有效解決機器翻譯問題。現有技術將類似的attention方法運用于LTSM網絡(Long Short-Term Memory Networks)，提升詞對關系分類精度。而另外的現有技術提出在卷積神經網絡中使用注意力機制的有效方法，以完成機器閱讀理解任務。

情感分類是目標相關(aspect-level)的問題，當訓練集和測試集針對不同的目標時，基于監督學習的分類方法通常會表現出較差的效果。因此，面向目標的細粒度情感分類研究顯得更具有實際意義，而目標可以是上下文中具體的詞匯(target)，也可以是文本描述的抽象對象或所屬領域。目前，很多研究人員將注意力機制應用于目標情感分類領域，取得了很好的效果。現有技術在LSTM網絡中將目標內容與序列相應中間狀態進行拼接，并計算注意力加權輸出，有效解決了上下文對不同目標的情感極性問題。另外的現有技術借鑒深度記憶網絡，提出多跳注意力模型，計算基于內容和位置的注意力值，用于充分挖掘上下文針對特定目標的情感特征信息。另外的現有技術將注意力機制運用在區域卷積神經網絡和LSTM相結合的模型中，既保留輸入序列的時序依賴又提高了訓練效率。另外的現有技術將多種注意力機制同時與卷積神經網絡相結合，綜合詞向量、詞性和位置信息對目標情感分析效果進行改善。

然而現有技術均是基于一維特征注意力，一維特征由于只能表征單個詞語信息，使得整個模型在處理數據時會丟失詞組這樣的上下文語義信息，使得分類特性下降；而多維組合特征利用的更豐富的語義表達，可以挖掘更抽象的高層信息表示。因此提供一種提出一種結合多跳注意力機制和卷積神經網的深度模型、方法，不依賴句法分析、語法分析和情感詞典等先驗知識，并利用多維組合特征彌補一維特征注意力機制的不足，是本領域亟待解決的問題。

發明內容