[發明專利]基于多記憶注意力網絡的方面級情感分類模型

在審

• 申請號: 202011153583.3
• 申請日: 2020-10-26
• 公開（公告）號: CN112256876A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 梁雪春;潘代斌
• 申請（專利權）人: 南京工業大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/284;G06F40/30;G06F40/216;G06F40/126;G06N3/04;G06N3/08
• 代理公司: 廣東有知貓知識產權代理有限公司 44681
• 代理人: 王臻巍

1.一種基于多記憶注意力網絡的方面級情感分類模型，其特征在于，包括詞嵌入層、位置記憶層、Bi-LSTM網絡層、注意力交互記憶層、標簽記憶層。

2.根據權利要求1所述的一種基于多記憶注意力網絡的方面級情感分類模型，其特征在于，所述詞嵌入層具體為：將每個單詞嵌入一個低維實值向量中，稱為單詞嵌入；我們從M^V×d得到v_i∈R^d，其中i是上下文或目標中的單詞索引，d表示嵌入矩陣維度，V表示詞匯量；詞嵌入被視為神經網絡的參數，通過語言模型從語料庫進行預訓練；通過詞嵌入層，獲得上下文和目標方面的詞向量表示：上下文向量[v₁；v₂；...；v_n]∈R^n×d和方面詞向量[v_i；v_i+1；...；v_i+m-1]∈R^n×d。

3.根據權利要求1所述的一種基于多記憶注意力網絡的方面級情感分類模型，其特征在于，所述位置記憶層具體為：方面級情感類任務中，單詞和方面詞之間的位置能挖掘出重要的信息；離目標方面詞越近的詞語，對該方面詞的影響就越大。

4.根據權利要求1所述的一種基于多記憶注意力網絡的方面級情感分類模型，其特征在于，所述Bi-LSTM網絡層具體為：使用兩個Bi-LSTM神經網絡對上下文詞向量以及方面詞向量進行編碼，來學習上下文與方面詞之間的語義聯系；每個Bi-LSTM是由兩個LSTM疊加而成，它能發揮LSTM的優勢，學習文本對象中詞與詞之間長期依賴信息，同時能避免梯度消失或爆炸問題；形式上，輸入帶有位置權重的詞向量v′_t，先前的單元狀態c_t-1和先前的隱藏狀態h_t-1，LSTM網絡中的當前單元狀態c_t和當前隱藏狀態h_t更新為：

f_t＝σ(W_f[h_t-1，v′_t]+b_f) (3) i_t＝σ(W_i[h_t-1，v′_t]+b_i) (4)

o_t＝σ(W_o[h_t-1，v′_t]+b_o) (7) h_t＝o_t⊙tanh(c_t) (8)

其中i_t，f_t和o_t對應輸入門，遺忘門和輸出門，能控制之前文本與當前信息的記憶和遺忘程度，使LSTM能長期記憶文本之間關系；σ是sigmoid激活函數；W和b對應三個門中的權重矩陣和偏差；符號“·”表示矩陣乘法，而“⊙”是逐元素乘法；

通過前向LSTM后，得到隱藏狀態d_n代表隱藏向量的維度，再將詞向量輸入后向LSTM網絡，生成另一系列的隱藏狀態最后，拼接兩個隱藏狀態和得到最終隱藏向量同時方面詞向量也經過Bi-LSTM編碼，得到隱藏語義狀態h_a；

其中，代表前向LSTM，代表后向LSTM；h_s和h_a是Bi-LSTM網絡層的最終輸出。