[發(fā)明專利]基于擾動(dòng)改良的自注意力機(jī)制社交網(wǎng)絡(luò)文本情感分析方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210195759.4
• 申請(qǐng)日: 2022-02-25
• 公開（公告）號(hào): CN114626372A
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 馬千里;馮華文;鄭彥魁
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué);廣州啟辰電子科技有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F40/211;G06F40/30;G06K9/62;G06Q50/00
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 黃衛(wèi)萍

1.一種基于擾動(dòng)改良的自注意力機(jī)制網(wǎng)絡(luò)文本情感分析方法，其特征在于，所述社交網(wǎng)絡(luò)文本情感分析方法包括以下步驟：

S1、將用戶話語文本數(shù)據(jù)中的每個(gè)句子切分為詞序列w＝(w₁，w₂，...，w_i，...，w_N)，w_i表示詞序列中的第i個(gè)詞，1≤i≤N，并將每個(gè)詞用詞向量表示X＝[x₁，x₂，...，x_i，...，x_N]，其中，x_i是詞向量X中的第i個(gè)元素，表示w_i對(duì)應(yīng)的詞向量，N為詞的個(gè)數(shù)，表示實(shí)數(shù)域；

S2、將詞向量X＝[x₁，x₂，...，x_i，...，x_N]輸入BERT-base中得到每個(gè)詞的編碼表示H＝(h₁，h₂，...，h_i，...，h_N)和對(duì)應(yīng)的注意力權(quán)重A＝(α₁，α₂，...，α_i，...，α_N)，其中，h_i是編碼表示H中的第i個(gè)元素，表示x_i對(duì)應(yīng)的BERT-base中的輸出，α_i是注意力權(quán)重A中的第i個(gè)元素，表示x_i對(duì)應(yīng)的注意力權(quán)重，α_i∈(0，1)，所述BERT-base為預(yù)訓(xùn)練語言模型，由12層Transformer單元和12層多頭注意力組成，將762維的詞向量X＝[x₁，x₂，...，x_i，...，x_N]編碼為H＝(h₁，h₂，...，h_i，...，h_N)，并輸出12層多頭注意力的注意力權(quán)重，將該12層注意力權(quán)重平均池化后得到A＝(α₁，α₂，...，α_i，...，α_N)；

S3、將詞的編碼表示H＝(h₁，h₂，...，h_i，...，h_N)輸入分類器中分類，得到在M個(gè)類別上的概率分布P＝(p₁，p₂，...，p_k，...，P_M)以及對(duì)應(yīng)的one-hot分類結(jié)果Y＝(y₁，y₂，...，y_k，...，y_M)，其中，p_k是概率分布P中的第k個(gè)元素，表示當(dāng)前句子屬于第k個(gè)類別的概率，y_k是one-hot分類結(jié)果Y中的第k個(gè)元素，y_k＝0表示當(dāng)前句子不屬于第k個(gè)類別，y_k＝1表示當(dāng)前句子屬于第k個(gè)類別，p_k∈[0，1]，y_k∈{0，1}，1≤k≤M，M為待分類文本的類別總數(shù)，類別是根據(jù)對(duì)文本分類具體的需求人為設(shè)定的；

S4、將每個(gè)詞的詞向量表示X＝[x₁，x₂，...，x_i，...，x_N]、每個(gè)詞的編碼表示H＝(h₁，h₂，...，h_i，...，h_N)和在各個(gè)類別上的概率分布P＝(p₁，p₂，...，p_k，...，P_M)進(jìn)行擾動(dòng)改良，得到注意力監(jiān)督信息A′＝(α′₁，α′₂，...，α′_i，...，α′_N)，α′_i是注意力監(jiān)督信息A′中的第i個(gè)元素，表示x_i對(duì)應(yīng)的注意力監(jiān)督信息，α′_i∈(0，1)；

S5、用注意力監(jiān)督信息A′＝(α′₁，α′₂，...，α′_i，...，α′_N)監(jiān)督所述BERT-base進(jìn)行二次訓(xùn)練；

S6、將詞向量X＝[x₁，x₂，...，x_i，...，x_N]輸入經(jīng)過二次訓(xùn)練的BERT-base得到隱層狀態(tài)，并用分類器輸出最終分類結(jié)果。