[發明專利]基于自注意力機制的情感分類方法

在審

• 申請號: 201910573709.3
• 申請日: 2019-06-28
• 公開（公告）號: CN110347831A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 姚全珠;祝元博;費蓉;趙佳瑜;呂鵬
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F17/27;G06N3/04
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王蕊轉

本發明公開了一種基于自注意力機制的情感分類方法，以雙向長短期記憶神經網絡模型為基礎，結合自注意力機制構建SA?BiLSTM模型，SA?BiLSTM模型共包含五層結構：第一層為輸入層，將句子輸入到模型中；第二層為詞向量構造層，將每個詞映射到低維向量；第三層為Bi?LSTM網絡層，使用Bi?LSTM從詞向量層獲取高級特征；第四層為自注意力機制層，生成一個權重向量，通過與這個權重向量相乘，使每一次迭代中的詞匯級的特征合并為句子級的特征；第五層為輸出層，將句子級的特征向量用于情感分類任務。本發明解決了現有技術中傳統情感分類算法大多存在耗時長、訓練難、人工成本高的問題。

技術領域

本發明屬于自然語言處理、數據挖掘技術領域，具體涉及一種基于自注意力機制的情感分類方法。

背景技術

注意力機制源于對人類視覺的研究。在認知科學中，由于信息處理的瓶頸，人類往往根據需求忽略部分可見信息，只關注信息特定的一部分。為了合理利用有限的視覺信息處理資源，人類需要選擇視覺區域中的特定部分，然后集中關注它，從而篩選出有價值的信息，視覺注意力機制極大的提高了人類處理視覺信息的效率。深度學習中的注意力機制借鑒了人類視覺注意力機制的思維方式，核心目標是從大量數據中快速篩選出高價值的信息。近年來，注意力模型在圖像處理、語音識別、自然語言處理等領域被廣泛使用。2017年谷歌提出的自注意力機制為人們提供了一種用注意力機制完全替代傳統卷積神經網絡和循環神經網絡結構的新思路。之后自注意力機制開始成為神經網絡注意力機制的研究熱點。自注意力機制可以看作是注意力機制的一種特殊情況，能夠把輸入序列上不同位置的信息聯系起來，然后計算出整條序列的表達。在文本情感分類任務中引入自注意力機制能夠學習到句子內部的詞依賴關系，捕獲句子的內部結構。

發明內容

本發明的目的是提供一種基于自注意力機制的情感分類方法，解決了現有技術中傳統情感分類算法大多基于淺層的機器學習，采用人工設計的特征選擇方法進行特征提取，存在耗時長、訓練難、人工成本高的問題。

本發明所采用的技術方案是，基于自注意力機制的情感分類方法，具體按照以下步驟實施：以雙向長短期記憶神經網絡模型為基礎，結合自注意力機制構建SA-BiLSTM模型，SA-BiLSTM模型共包含五層結構：第一層為輸入層，將句子輸入到模型中；第二層為詞向量構造層，將每個詞映射到低維向量；第三層為Bi-LSTM網絡層，使用Bi-LSTM從詞向量層獲取高級特征；第四層為自注意力機制層，生成一個權重向量，通過與這個權重向量相乘，使每一次迭代中的詞匯級的特征合并為句子級的特征；第五層為輸出層，將句子級的特征向量用于情感分類任務。

本發明的特點還在于，

SA-BiLSTM模型的為詞向量構造層具體功能如下：

對于給定包含T個詞的句子S：S＝X₁,X₂,...,X_T，每個詞X_i都轉換為實數向量w_i，對于S中的每個詞，首先存在詞向量矩陣：其中V為固定大小的詞匯表，d^w表示詞向量維度，W^k表示通過訓練學習得到的參數矩陣，使用詞向量矩陣W^k將每個詞轉化為詞向量表示如下：

c_i＝W^kvⁱ

其中，vⁱ表示大小為|V|的one-hot向量，

最終句子S將被轉化為一個實數矩陣，并傳遞給模型的下一層。

SA-BiLSTM模型的Bi-LSTM網絡層具體功能如下：

本模型使用的Bi-LSTM網絡層包含三種門機制，分別如下：

a.遺忘門f_t，決定丟棄多少舊信息：