[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的跨領(lǐng)域情感分析的模型訓(xùn)練方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910020227.5
• 申請(qǐng)日: 2019-01-09
• 公開（公告）號(hào): CN109753566B
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 孟佳娜;于玉海
• 申請(qǐng)（專利權(quán)）人: 大連民族大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/30;G06K9/62
• 代理公司: 大連智高專利事務(wù)所(特殊普通合伙) 21235
• 代理人: 劉斌

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的跨領(lǐng)域情感分析的模型訓(xùn)練方法，其特征在于，包括如下步驟：

S1.文本預(yù)處理；

S2.訓(xùn)練詞向量模型：

所述步驟S2中詞向量模型是改進(jìn)定向Skip-Gram模型，改進(jìn)定向Skip-Gram模型：

其中：g(w_t+i|w_t)表示預(yù)測(cè)上下文的概率，w_t+i為詞w_t的左側(cè)或者右側(cè)的詞，表示定向的w_t的權(quán)重向量，表示向量轉(zhuǎn)置，表示w_t基于上下文的權(quán)重向量，V表示詞表大小；

S3.跨領(lǐng)域模型遷移：

通過源領(lǐng)域訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，對(duì)訓(xùn)練好的模型進(jìn)行遷移，共享模型中卷積核的權(quán)重值，使用源領(lǐng)域訓(xùn)練好的卷積核權(quán)重提取目標(biāo)領(lǐng)域中對(duì)應(yīng)的特征，對(duì)目標(biāo)領(lǐng)域的少部分?jǐn)?shù)據(jù)進(jìn)行再次訓(xùn)練，調(diào)整之前訓(xùn)練好模型的全連接層權(quán)重的參數(shù)；

所述跨領(lǐng)域模型遷移的算法描述為：

使用源領(lǐng)域標(biāo)記數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，第一層為句子以矩陣形式存儲(chǔ)的輸入層輸入的源領(lǐng)域樣本x_s，句子固定長(zhǎng)度為n，表示在源領(lǐng)域輸入的句子用詞所對(duì)應(yīng)的實(shí)數(shù)id序列，嵌入層將加入詞向量模型，其中詞向量維度為k，原輸入層變?yōu)楸硎揪渥酉蛄克成涞膎*k的矩陣，單獨(dú)一個(gè)詞可用表示，表示句子中第i個(gè)詞，表示詞所對(duì)應(yīng)的實(shí)數(shù)域，輸入的句子表示為：

其中為連接運(yùn)算符；

第二層為卷積層，卷積層提取句子特征，主要是通過h*k卷積核表示h*k的一個(gè)實(shí)數(shù)矩陣，h為輸入的濾波器的大小，k為詞向量維度，在輸入層從上到下進(jìn)行滑動(dòng)，完成卷積的操作，通過卷積操作獲得一個(gè)特征圖c_s，特征圖c_s為n-h+1的向量，即

其中，

其中f為非線性激活函數(shù)，b_s為偏置項(xiàng)，w_s表示卷積核的權(quán)重，濾波器的長(zhǎng)度為h，i:i+h-1表示在卷積過程中掃描的詞長(zhǎng)度從第i個(gè)到i+h-1個(gè)；

第三層為池化層，池化層特征進(jìn)一步提取，使用最大池化操作，取出特征值中的最大值作為主要的特征，記為max(c_s)：

最后一層為全連接層，經(jīng)過全連接層后使用softmax分類器得到各個(gè)類的概率，通過概率的大小判斷類別，公式如式(4.5)、(4.6)所示：

其中表示源領(lǐng)域數(shù)據(jù)經(jīng)過全連接層的預(yù)測(cè)值，w表示全連接層的權(quán)重，b為偏置項(xiàng)系數(shù)，表示在源領(lǐng)域中樣本在第i個(gè)類別下出現(xiàn)的概率，Label為標(biāo)簽種類；

使用少部分已標(biāo)注的目標(biāo)領(lǐng)域的數(shù)據(jù)集進(jìn)行微調(diào)，為保證一致性使用x_t表示目標(biāo)領(lǐng)域樣本，并與源領(lǐng)域輸入層保持一致，使用相同的句子長(zhǎng)度n和詞向量維度k，將輸入層表示為的格式，輸入句子表示為：

b_s為偏置項(xiàng)，使用前向傳播算法獲取特征圖c_t，公式為：

其中，

并且使用最大池化層選擇出特征圖c_t的每一列最大值，作為特征向量記為max(c_t)；

對(duì)最后一層全連接層中的權(quán)重使用隨機(jī)梯度下降方法進(jìn)行微調(diào)，w表示全連接層的權(quán)重，b為偏置項(xiàng)系數(shù)，表示在目標(biāo)領(lǐng)域中樣本在第i個(gè)類別下出現(xiàn)的概率，Label為標(biāo)簽種類；

在源領(lǐng)域數(shù)據(jù)集上使用包含三個(gè)卷積層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并保存訓(xùn)練好的模型結(jié)構(gòu)和各層權(quán)重，在訓(xùn)練目標(biāo)領(lǐng)域數(shù)據(jù)時(shí)不改變前三層已訓(xùn)練好的權(quán)重，而只對(duì)最后一層全連接層的權(quán)重進(jìn)行微調(diào)，并使用隨機(jī)梯度下降方法調(diào)整權(quán)重值，再對(duì)目標(biāo)領(lǐng)域進(jìn)行情感分類，根據(jù)概率的結(jié)果判斷樣本在第i個(gè)類別下的概率，樣本將屬于概率最大的一類作為其情感分類。

2.如權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的跨領(lǐng)域情感分析的模型訓(xùn)練方法，其特征在于，所述步驟S1包括：

分詞與詞性標(biāo)注：英文使用nltk分詞，中文使用jieba分詞，對(duì)于出現(xiàn)高頻率的，但是對(duì)于文本分詞沒有實(shí)際的作用的詞定義為停用詞，將其去除；并在分詞后對(duì)詞性標(biāo)注；命名實(shí)體識(shí)別：使用bilstm+crf的方式進(jìn)行命名實(shí)體識(shí)別，通過bilstm去進(jìn)行特征的選擇，之后使用crf進(jìn)行訓(xùn)練識(shí)別。