[發(fā)明專(zhuān)利]一種基于卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的文本情感分類(lèi)算法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810459139.0
• 申請(qǐng)日: 2018-05-15
• 公開(kāi)（公告）號(hào): CN108664632B
• 公開(kāi)（公告）日: 2021-09-21
• 發(fā)明（設(shè)計(jì)）人: 董敏;湯雪;畢盛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華南理工大學(xué)
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06F40/284;G06N3/04
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的文本情感分類(lèi)算法，其特征在于，包括以下步驟：

1)建立包含多種卷積和池化的卷積神經(jīng)網(wǎng)絡(luò)，使用情感分類(lèi)文本進(jìn)行訓(xùn)練，得到第一個(gè)模型；

2)建立加入殘差連接和非線(xiàn)性的多頭點(diǎn)積注意力機(jī)制，使用情感分類(lèi)文本進(jìn)行訓(xùn)練，得到第二個(gè)模型；

3)對(duì)兩個(gè)模型進(jìn)行模型融合，得到文本最終的情感分類(lèi)，其具體如下：

使用Bagging的模型融合方法，對(duì)兩個(gè)模型進(jìn)行模型融合，得到文本的最終類(lèi)別；假定數(shù)據(jù)集的類(lèi)別數(shù)目為K，對(duì)于特定的樣本x，第一個(gè)模型預(yù)測(cè)樣本x屬于各個(gè)類(lèi)別的概率為p¹＝[p₁,p₂,...,p_K]，其融合權(quán)重為λ₁；第二個(gè)模型預(yù)測(cè)樣本x屬于各個(gè)類(lèi)別的概率為p²＝[p₁,p₂,...,p_K]，其融合權(quán)重為λ₂；對(duì)于特定的樣本x，其最終的預(yù)測(cè)屬于各個(gè)類(lèi)別的概率為p＝λ₁p¹+λ₂p²；對(duì)于特定的樣本x，其最終預(yù)測(cè)類(lèi)別為預(yù)測(cè)其屬于各個(gè)類(lèi)別的概率向量p中最大值對(duì)應(yīng)的索引值

2.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的文本情感分類(lèi)算法，其特征在于：在步驟1)中，建立包含多種卷積和池化的卷積神經(jīng)網(wǎng)絡(luò)，包含以下步驟：

1.1)建立兩種不同類(lèi)型的卷積，第一種卷積的卷積核為整體卷積核，匹配整個(gè)詞向量，第二種卷積的卷積核為單維卷積核，就是在詞向量的每一維上進(jìn)行匹配；假設(shè)句子輸入sent∈R^len×Dim是len個(gè)詞語(yǔ)序列，每一個(gè)詞語(yǔ)由Dim維詞向量表示，sent_i∈R^Dim代表詞語(yǔ)序列中第i個(gè)詞向量，sent_i:j代表第i到j(luò)個(gè)包括第j個(gè)詞向量的連接，代表第i個(gè)詞向量的第k維，代表第i到j(luò)個(gè)包括第j個(gè)詞向量的第k維；假設(shè)一個(gè)整體卷積核為w∈R^ws×Dim，其滑窗寬度為ws，b∈R為偏置，h為激活函數(shù)；當(dāng)卷積核w應(yīng)用于輸入詞語(yǔ)序列sent，w和sent內(nèi)每一個(gè)長(zhǎng)度為ws的詞向量窗口進(jìn)行內(nèi)積，加上偏置值b，應(yīng)用激活函數(shù)h，得到第一種卷積的輸出向量c1∈R^1+len-ws，其中第i項(xiàng)等于c1[i]＝h(w⊙sent_i:i+ws-1+b)，i∈[1,1+len-ws]，⊙表示內(nèi)積；假設(shè)一個(gè)應(yīng)用于詞向量的第k維的單維卷積核為單維卷積w_k，w_k∈R^ws×1，ws為滑窗寬度，b_k為偏置，h為激活函數(shù)；卷積核w_k的輸出向量c_k∈R^1+len-ws，其中第i項(xiàng)等于合并詞向量所有維度的輸出向量，得到第二種卷積的最終輸出c2＝[c₁,c₂,...,c_Dim]；

1.2)對(duì)卷積層兩種卷積的輸出c1和c2分別進(jìn)行最大池化和平均池化；假設(shè)第一種卷積的輸出向量c1∈R^1+len-ws最大池化后的輸出為平均池化后的輸出為假設(shè)對(duì)第二種卷積的輸出矩陣c2∈R^{(1+len-ws)×Dim}的第j個(gè)詞向量維度上的向量c2[j]∈R^1+len-ws進(jìn)行最大池化后的結(jié)果為平均池化后的結(jié)果為對(duì)這兩個(gè)值進(jìn)行按位相減，再進(jìn)行絕對(duì)值操作，abs表示絕對(duì)值操作，得到輸出為p^j；合并所有維度的結(jié)果，得到輸出向量為p∈R^Dim；假設(shè)對(duì)p進(jìn)行最大池化，得到第二種卷積的最大池化后的最終輸出為平均池化后的最終輸出為連接兩種卷積的四個(gè)池化輸出值和得到池化層的最終輸出向量表示連接操作；

1.3)在卷積層使用不同滑窗寬度ws的卷積核。

3.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的文本情感分類(lèi)算法，其特征在于：在步驟2)中，所述多頭點(diǎn)積注意力機(jī)制由多頭注意力機(jī)制和點(diǎn)積注意力機(jī)制組成，所述多頭注意力機(jī)制是指并性地做多次注意力，所述點(diǎn)積注意力機(jī)制是指使用點(diǎn)積計(jì)算輸入每個(gè)時(shí)刻的注意力權(quán)重的注意力機(jī)制，建立加入殘差連接和非線(xiàn)性的多頭點(diǎn)積注意力機(jī)制，包括以下步驟：

2.1)建立加入殘差連接和非線(xiàn)性的點(diǎn)積注意力機(jī)制；假設(shè)句子輸入s∈R^len×Dim是len個(gè)詞語(yǔ)序列，每一個(gè)詞語(yǔ)由Dim維詞向量表示，s_i∈R^Dim代表詞語(yǔ)序列中第i個(gè)詞向量；假設(shè)第i個(gè)詞向量的輸入向量s_i的權(quán)重為w，對(duì)其進(jìn)行內(nèi)積，w_i＝w⊙s_i，⊙表示內(nèi)積；獲得每個(gè)詞向量的注意力權(quán)重w_i后，對(duì)其進(jìn)行歸一化，α_i＝softmax(w_i)，α_i表示歸一化后的第i個(gè)詞向量的注意力權(quán)重；得到歸一化的注意力概率后，加入殘差連接，第i個(gè)詞向量的輸出向量v_i＝α_is_i+s_i，即將權(quán)重α_i與輸入s_i相乘后，再加上輸入s_i本身；再進(jìn)行非線(xiàn)性變換，得到第i個(gè)詞向量的輸出向量v_i＝relu(v_i)，relu(x)表示非線(xiàn)性relu函數(shù)；最后，對(duì)所有詞向量的輸出向量進(jìn)行求和，得到最終的點(diǎn)積注意力機(jī)制輸出向量其中v∈R^Dim；

2.2)并性地做多次注意力；根據(jù)步驟2.1)，多次建立加入殘差連接和非線(xiàn)性的點(diǎn)積注意力機(jī)制，假設(shè)第j個(gè)注意力機(jī)制的權(quán)重為w^j，其輸出向量為v^j，對(duì)所有注意力機(jī)制的輸出向量進(jìn)行連接，得到多頭點(diǎn)積注意力機(jī)制的最終輸出向量表示連接操作，其中h表示多頭注意力機(jī)制中的注意力個(gè)數(shù)，即并行地做多次注意力的次數(shù)。