[發明專利]一種融合外部知識與交互注意力機制的視角級文本情感分類方法及系統

有效

• 申請號: 202011184688.5
• 申請日: 2020-10-30
• 公開（公告）號: CN112199504B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 廖祥文;曾夢美;鄧立明;陳甘霖;陳開志
• 申請（專利權）人: 福州大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/247;G06F40/30;G06N3/04
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

1.一種融合外部知識與交互注意力機制的視角級文本情感分類方法，其特征在于，包括以下步驟：

構建帶有外部知識的文本序列內容，同時引入哨兵向量改善外部知識對模型的誤導作用；

構建帶有交互信息及位置信息的記憶內容；

構建記憶內容的多層注意力表示，并將注意力結果與門控循環單元非線性結合，最終形成視角級文本情感特征表示；

采用分類函數得到文本最終的情感分類結果；

所述構建帶有交互信息及位置信息的記憶內容具體包括以下步驟：

首先對結合外部知識的單詞向量表示和視角詞向量進行平均池化：

式中，c_avg表示平均單詞向量表示，t_avg表示平均視角詞向量表示，n表示輸入文本的單詞總數，m表示視角詞的單詞個數；

通過下式計算視角對文本注意力的文本表示S_i的注意力權重α_i和文本對視角注意力的文本表示A_i的注意力權重β_i：

其中，

式中，W_t、W_c表示待學習的權重參數矩陣，b_t、b_c表示待學習的權重參數向量；

通過下式計算交互注意力層的最終文本表示

其中，

式中，λ表示控制S_i和A_i重要程度的超參數；

將上下文單詞與視角詞的位置距離定義為二者之間的單詞數；將第i個單詞對視角詞的貢獻程度定義為第i個單詞的位置權重w_i，計算如下式所示：

其中，

式中，t表示視角詞的位置，t_max表示輸入文本的單詞總數，m_i為融合了交互信息與位置注意力權重的記憶內容。

2.根據權利要求1所述的一種融合外部知識與交互注意力機制的視角級文本情感分類方法，其特征在于，所述構建帶有外部知識的文本序列內容，同時引入哨兵向量改善外部知識對模型的誤導作用具體為：

首先通過Glove模型將分詞處理后的文本數據轉換為向量表示；

接著利用BiLSTM從文本提取語義特征；

利用動態注意力機制將BiLSTM的隱藏向量表示與外部同義詞的向量表示相結合，同時引入哨兵向量來改善外部知識對模型的誤導作用，得到與外部知識結合的單詞向量表示

3.根據權利要求2所述的一種融合外部知識與交互注意力機制的視角級文本情感分類方法，其特征在于，所述引入哨兵向量來改善外部知識對模型的誤導作用，得到與外部知識結合的單詞向量表示具體為：

通過下式計算哨兵向量s_t：

式中，σ(*)表示logistic sigmoid函數，W_b、U_b表示待學習的權重參數矩陣，x_t表示當前輸入的文本內容，表示上一隱藏狀態的輸出；

通過下式計算同義詞向量t_k和哨兵向量s_t的注意權重β_t：

其中，

式中，t_kb、s_kb、b_t、b_s表示待學習的權重參數向量，W_t、W_s、W_ht、W_hs表示待學習的權重參數矩陣；

通過下式計算結合外部知識的單詞向量表示

其中，

式中，k表示同義詞，Syn_vi表示同義詞向量集合。