[發(fā)明專利]基于分層注意力機(jī)制的跨領(lǐng)域情感分類系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911085444.9
• 申請(qǐng)日: 2019-11-08
• 公開（公告）號(hào): CN110851601A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 廖祥文;陳癸旭;陳志豪;溫宇含;陳開志
• 申請(qǐng)（專利權(quán)）人: 福州大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F16/33;G06F40/211;G06F40/289;G06K9/62
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 陳明鑫;蔡學(xué)俊

1.一種基于分層注意力機(jī)制的跨領(lǐng)域情感分類系統(tǒng)，其特征在于，包括：

文本預(yù)處理模塊，用于對(duì)跨領(lǐng)域文本進(jìn)行特征化處理；

樞軸特征提取模塊，用于學(xué)習(xí)領(lǐng)域適應(yīng)的特征表示空間，得到源領(lǐng)域與目標(biāo)領(lǐng)域的樞軸特征文檔表示；

非樞軸特征提取模塊，用于獲取非樞軸特征表示；

情感類別輸出模塊，用于獲取最終的情感分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于分層注意力機(jī)制的跨領(lǐng)域情感分類系統(tǒng)，其特征在于：所述文本預(yù)處理模塊采用Word2vec提取源領(lǐng)域與目標(biāo)領(lǐng)域文本的特征。

3.根據(jù)權(quán)利要求1所述的基于分層注意力機(jī)制的跨領(lǐng)域情感分類系統(tǒng)的分類方法，其特征在于，包括以下步驟：

步驟S1:將源數(shù)據(jù)和目標(biāo)數(shù)據(jù)輸入文本預(yù)處理模塊，采用Word2vec提取源領(lǐng)域與目標(biāo)領(lǐng)域文本的特征；

步驟S2:根據(jù)得到的源領(lǐng)域與目標(biāo)領(lǐng)域文本的特征，通過樞軸特征提取模塊得到樞軸特征文檔表示；

步驟S3:將樞軸特征提取模塊獲取的樞軸特征通過填充詞替代的方式隱藏所有的樞軸特征，作為非樞軸特征提取模塊的輸入，獲取非樞軸特征表示;

步驟S4:將獲取的樞軸特征文檔表式和非樞軸特征文檔表示，通過拼接構(gòu)成最終情感分類文檔表示；

步驟S5:根據(jù)得到的最終情感分類文檔表示，通過情感類別輸出模塊對(duì)所得向量逐一計(jì)算，根據(jù)設(shè)定的閾值得到該文本表示的情感類別預(yù)測(cè)值。

4.根據(jù)權(quán)利要求3所述的基于分層注意力機(jī)制的跨領(lǐng)域情感分類系統(tǒng)的分類方法，其特征在于，所述步驟S1具體為：

步驟S11:對(duì)源領(lǐng)域和目標(biāo)領(lǐng)域的文本進(jìn)行分詞并過濾停用詞;

步驟S12:通過word2vec來將文本數(shù)據(jù)從文本形式轉(zhuǎn)換成向量形式。

5.根據(jù)權(quán)利要求3所述的基于分層注意力機(jī)制的跨領(lǐng)域情感分類系統(tǒng)的分類方法，其特征在于，所述步驟S2具體為：

步驟S21:根據(jù)源領(lǐng)域與目標(biāo)領(lǐng)域文本的特征，獲取的句子級(jí)文本表示;

步驟S22:根據(jù)獲取的句子級(jí)文本表示，采用BiLSTM捕捉句子層面文本上下文語義信息；

步驟S23:采用注意機(jī)制來衡量每個(gè)句子對(duì)于情感分類任務(wù)的重要性，并最終獲取樞軸特征文檔表示。

6.根據(jù)權(quán)利要求3所述的基于分層注意力機(jī)制的跨領(lǐng)域情感分類系統(tǒng)的分類方法，其特征在于，所述步驟S5具體為：

步驟S51:根據(jù)得到的最終情感分類文檔表示，利用softmax分類函數(shù)對(duì)所得向量逐一計(jì)算;

步驟S52:利用源領(lǐng)域的文本表示進(jìn)行情感類別的預(yù)測(cè)并計(jì)算其與實(shí)際情感標(biāo)簽的誤差;

步驟S53:利用隨機(jī)梯度下降法和后向傳播對(duì)整個(gè)系統(tǒng)的參數(shù)進(jìn)行迭代更新；否則，對(duì)目標(biāo)領(lǐng)域的文本表示進(jìn)行情感類別的預(yù)測(cè)，并輸出預(yù)測(cè)值。

7.根據(jù)權(quán)利要求6所述的基于分層注意力機(jī)制的跨領(lǐng)域情感分類系統(tǒng)的分類方法，其特征在于，所述softmax分類函數(shù)的權(quán)重和偏置設(shè)置具體為：

將獲取的非樞軸特征表示作為Softmax函數(shù)的輸入，進(jìn)行兩個(gè)子任務(wù)預(yù)測(cè)，子任務(wù)一：預(yù)測(cè)文檔表示是否包含至少一個(gè)正向樞軸特征；子任務(wù)二：預(yù)測(cè)文檔表示是否包含至少一個(gè)負(fù)向樞軸特征；其計(jì)算公式如下：

其中和分別表示計(jì)算是否至少包含一個(gè)正向樞軸概率時(shí)的Softmax層對(duì)應(yīng)的權(quán)重參數(shù)和偏置，其中和分別表示計(jì)算是否至少包含一個(gè)負(fù)向樞軸概率時(shí)的Softmax層對(duì)應(yīng)的權(quán)重參數(shù)和偏置。