[發明專利]基于可形變自注意力機制的社交網絡文本情感分析方法

有效

• 申請號: 202011540244.0
• 申請日: 2020-12-23
• 公開（公告）號: CN112528168B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 馬千里;閆江月
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/9536
• 分類號: G06F16/9536;G06F40/289;G06F40/211;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 詹麗紅

1.一種基于可形變自注意力機制的社交網絡文本情感分析方法，其特征在于，所述的社交網絡文本情感分析方法包括以下步驟：

S1、將用戶話語文本數據中的每個句子切分為詞，切分后的詞序列表示為w＝(w₁,w₂,…,w_i,…,w_N)，并將每個詞用詞向量序列表示為其中，w_i是第i個詞，是第i個詞的詞向量，1≤i≤N，N為詞的個數，emb為詞向量維度大小,為由所有emb維向量組成的實數向量空間；

S2、將詞向量序列輸入雙向循環神經網絡中得到每個詞的編碼表示H＝(h₁,h₂,…,h_i,…,h_N),其中，雙向循環神經網絡簡稱Bi-LSTM，是第i個詞的編碼表示，為由所有2d維向量組成的實數向量空間，1≤i≤N，d為單向LSTM隱層單元的維度大小，2d為Bi-LSTM隱層單元的維度大小；

S3、利用可形變自注意力機制，將每個詞的編碼表示H＝(h₁,h₂,…,h_i,…,h_N)轉化為多種具有不同上下文范圍的句子編碼表示F＝(F¹；F²；…；F^l；…；F^L),其中，l∈{1,2,…,L}，是具有第l種上下文范圍的句子編碼表示,為由所有N×d維矩陣組成的實數矩陣向量空間，L為不同上下文范圍的個數；

S4、將多種句子編碼表示F＝(F¹；F²；…；F^l；…；F^L)融合得到一個句子編碼表示

S5、將融合的句子編碼表示輸入到前饋神經網絡中分類，輸出結果；

S6、根據前饋神經網絡輸出結果和數據真實結果，最小化交叉熵損失函數迭代訓練，更新雙向循環神經網絡、可形變自注意力機制、前饋神經網絡中涉及的參數；

S7、將待分類的社交網絡文本數據重復步驟S1-S5，得到從前饋神經網絡輸出的情感分析結果；

其中，所述的步驟S3過程如下：

S31、將詞的編碼表示H按照下式映射到不同的子空間：

其中是將H映射到第l個子空間的3個可以訓練的權重矩陣，代表所有由2d×d維矩陣組成的實數矩陣向量空間，Q^l,K^l,V^l是H在第l個子空間映射后得到的3個不同的表示，l∈{1,2,…,L}，L為子空間的個數，它的值也等于不同上下文范圍的個數，接下來計算每個子空間下對應的注意力分數矩陣{S¹,S²,…,S^l,…,S^L},其中S^l是第l個子空間下對應的注意力分數矩陣，每個S^l計算公式如下：

S32、在第l個子空間學習上下文半徑在R_l-1～R_l的上下文半徑向量R_l-1和R_l是預定義的上下文半徑常量，為兩個實數且R_l-1R_l，R₀＝1，為所有由N維向量組成的實數向量空間，上下文半徑向量的第i個元素代表第i個詞學習到的上下文半徑，代表實數空間；

S33、為了限制注意力機制的關注范圍，計算上下文半徑為R的帶寬掩碼矩陣代表所有由N×N維矩陣組成的實數矩陣向量空間，矩陣每個元素M(R)_i,i′的計算公式如下：

其中，M(R)_i,i′是矩陣M(R)第i行第i′列的元素，i′∈{1,2,…,N}；

S34、使用可形變自注意力機制學習上下文半徑大小為R_l-1～R_l的可形變注意力權重矩陣第i個詞在第l個子空間的可形變注意力權重矩陣計算公式如下：

其中是可形變注意力權重矩陣的第i行，q枚舉上取整和下取整得到的2個整數，是第l個子空間的注意力分數矩陣S^l的第i行，M(q)_i,·是上下文半徑為q的帶寬掩碼矩陣M(q)的第i行，函數K(·,·)的計算公式如下：

K(a,b)＝max(0,1-|a-b|)

其中，a,b為任意兩個實數；

S35、得到多種具有不同上下文范圍的句子編碼表示F＝(F¹；F²；…；F^l；…；F^L)，每一種句子編碼表示F^l計算公式如下：