[發明專利]一種融合外部知識與交互注意力機制的視角級文本情感分類方法及系統

有效

• 申請號: 202011184688.5
• 申請日: 2020-10-30
• 公開（公告）號: CN112199504B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 廖祥文;曾夢美;鄧立明;陳甘霖;陳開志
• 申請（專利權）人: 福州大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/247;G06F40/30;G06N3/04
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

本發明涉及一種融合外部知識與交互注意力機制的視角級文本情感分類方法及系統，包括步驟：構建帶有外部知識的文本序列內容，同時引入哨兵向量改善外部知識對模型的誤導作用；構建帶有交互信息及位置信息的記憶內容；構建記憶內容的多層注意力表示，并將注意力結果與門控循環單元非線性結合，最終形成視角級文本情感特征表示；采用分類函數得到文本最終的情感分類結果。本發明能夠對視角級文本進行特征化處理，并通過BiLSTM從文本中提取語義特征，然后通過多層注意力機制，得到最終的分類結果。

技術領域

本發明涉及文本處理技術領域，特別是一種融合外部知識與交互注意力機制的視角級文本情感分類方法及系統。

背景技術

視角級文本情感分析旨在研究評論文本關于給定視角詞的情感極性(如積極、消極和中性)。作為情感分析中的一項細粒度任務，視角級文本情感分析能夠提供比文檔級或句子級的情感分析更全面、更深入的分析，其可廣泛應用于產品定價、競爭情報、股市預測等領域，具有重要的理論研究意義和實際應用價值。如圖1，文本中有兩個視角詞“salmon”和“waiter”，該文本關于視角詞“salmon”的情感極性是積極的，而關于視角詞“waiter”的情感極性是消極的。視角級文本情感分析可以準確把握用戶對產品的各個方面的情感態度，而以句子為導向的文本情感分析卻無法捕捉到針對視角詞的中細粒度情感。因此視角級文本情感分析逐漸受到了廣泛關注，成為研究熱點之一。

近年來，國內外已有很多針對視角級文本情感分析任務開展的相關研究，并且取得了一定的研究成果。現有的相關研究方法主要可以分為兩類：基于傳統機器學習的方法和基于神經網絡的學習方法。

基于傳統機器學習的視角級文本情感分析方法通過輸入大量的標注語料以及這些標注語料的情感標簽，訓練和這些語料相關的評論數據的情感分類器，如支持向量機(Support Vector Machine，SVM)、最大熵(Maximum Entropy Model，MaxEnt)、KNN(K-Nearest Neighbor algorithm，K最鄰近方法)等，然后通過這些訓練好的分類器來預測新的文本數據的情感。這類方法雖然在視角級文本情感分析領域取得一定成效，但是需要大量的特征工程，耗時耗力，性能很大程度上受限于人工特征的質量，且模型復雜、泛化能力較差。

隨著深度學習的快速發展，基于多層神經網絡的表示學習模型在語義表示與情感分析運用方面更具優勢。許多研究者們也將這些模型用于視角級文本情感分析。一些研究人員提出將深度學習與傳統的方法相結合處理視角級文本情感分類問題，如將循環神經網絡(RNN)和句法分析樹相結合等，這些方法相比傳統的方法取得了比較好的性能，但是還是依賴了情感詞典、句法分析等傳統手段，性能還有待提升。為了擺脫傳統的方法，有研究人員引入一個深度記憶網絡來進行視角級文本情感分類，通過雙向長短時記憶網絡并結合位置信息來構造記憶塊，然后計算多重注意力的結果，最后利用門限控制單元進行非線性的結合來得到文本的情感特征表示。該類方法雖然能夠更好地處理復雜的句子，但是對文本中單詞在不同語境下可能有不同含義欠缺考慮。因此人們希望能夠找到一種更加高效的視角級文本情感分類方法，進而提高視角級文本情感分類的性能和降低資源的消耗。

發明內容

有鑒于此，本發明的目的是提出一種融合外部知識與交互注意力機制的視角級文本情感分類方法及系統，能夠對視角級文本進行特征化處理，并通過BiLSTM從文本中提取語義特征，然后通過多層注意力機制，得到最終的分類結果。

本發明采用以下方案實現：一種融合外部知識與交互注意力機制的視角級文本情感分類方法，具體包括以下步驟：

構建帶有外部知識的文本序列內容，同時引入哨兵向量改善外部知識對模型的誤導作用；

構建帶有交互信息及位置信息的記憶內容；

構建記憶內容的多層注意力表示，并將注意力結果與門控循環單元非線性結合，最終形成視角級文本情感特征表示；

采用分類函數得到文本最終的情感分類結果。