[發明專利]基于自注意力機制的情感分類方法

在審

• 申請號: 201910573709.3
• 申請日: 2019-06-28
• 公開（公告）號: CN110347831A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 姚全珠;祝元博;費蓉;趙佳瑜;呂鵬
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F17/27;G06N3/04
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王蕊轉

1.基于自注意力機制的情感分類方法，其特征在于，具體按照以下步驟實施：

以雙向長短期記憶神經網絡模型為基礎，結合自注意力機制構建SA-BiLSTM模型，SA-BiLSTM模型共包含五層結構：第一層為輸入層，將句子輸入到模型中；第二層為詞向量構造層，將每個詞映射到低維向量；第三層為Bi-LSTM網絡層，使用Bi-LSTM從詞向量層獲取高級特征；第四層為自注意力機制層，生成一個權重向量，通過與這個權重向量相乘，使每一次迭代中的詞匯級的特征合并為句子級的特征；第五層為輸出層，將句子級的特征向量用于情感分類任務。

2.根據權利要求1所述的基于自注意力機制的情感分類方法，其特征在于，所述SA-BiLSTM模型的為詞向量構造層具體功能如下：

對于給定包含T個詞的句子S：S＝X₁,X₂,...,X_T，每個詞X_i都轉換為實數向量w_i，對于S中的每個詞，首先存在詞向量矩陣：其中V為固定大小的詞匯表，d^w表示詞向量維度，W^k表示通過訓練學習得到的參數矩陣，使用詞向量矩陣W^k將每個詞轉化為詞向量表示如下：

c_i＝W^kvⁱ

其中，vⁱ表示大小為|V|的one-hot向量，

最終句子S將被轉化為一個實數矩陣，并傳遞給模型的下一層。

3.根據權利要求2所述的基于自注意力機制的情感分類方法，其特征在于，所述SA-BiLSTM模型的Bi-LSTM網絡層具體功能如下：

本模型使用的Bi-LSTM網絡層包含三種門機制，分別如下：

a.遺忘門f_t，決定丟棄多少舊信息：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

b.輸入門c_t，決定單元狀態中存儲哪些新信息：

i_t＝σ(W_ix_t+U_ih_t+b_i)

c_t＝f_tc_t-1+i_t·Tanh(W_cx_t+U_ch_t-1+b_c)

c.輸出門o_t，決定哪些信息被輸出：

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

最后，由當前單元狀態乘以輸出門的權重矩陣o_t得到輸出值h_t：

h_t＝o_tthanh(c_t)

由于本模型采用的是雙向LSTM，在原有正向LSTM網絡層上添加一層反向LSTM層表示為：

h_i表示Bi-LSTM網絡層的輸出。

4.根據權利要求3所述的基于自注意力機制的情感分類方法，其特征在于，所述SA-BiLSTM模型的自注意力機制層具體功能如下：

將上一層輸入的向量集合表示為H：[h₁,h₂,...,h_T]，其自注意力機制層的權重矩陣r由下面公式得到：

M＝tanh(H)

α＝softmax(w^TM)

r＝Hα^T

其中，d^w為詞向量維度，w^T是一個訓練學習得到的參數向量的轉置，最終用以分類的句子將表示為：

h*＝tanh(r)。

5.根據權利要求4所述的基于自注意力機制的情感分類方法，其特征在于，所述SA-BiLSTM模型的輸出層具體功能如下：使用softmax分類器來預測標簽該分類器將上一層得到的狀態h^*作為輸入，最終得到文本情感極性分類類別，

其中，y表示真實類別的概率，表示預測類別的概率，的值大于50％為積極情感傾向，的值小于50％為消極情感傾向。