[發(fā)明專利]基于環(huán)境元嵌入和深度學(xué)習(xí)的情感傾向性分析方法

在審

• 申請?zhí)枺?/td>: 201910197440.3
• 申請日: 2019-03-15
• 公開（公告）號: CN109948158A
• 公開（公告）日: 2019-06-28
• 發(fā)明（設(shè)計(jì)）人: 王傳棟;李智;史宇
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F16/35;G06N3/04
• 代理公司: 南京蘇科專利代理有限責(zé)任公司 32102
• 代理人: 姚姣陽

1.一種基于環(huán)境元嵌入和深度學(xué)習(xí)的情感傾向性分析方法，其特征在于：包括如下步驟：

S1，采集用于訓(xùn)練的文本數(shù)據(jù)，對獲得的文本數(shù)據(jù)進(jìn)行規(guī)范化處理和分詞處理，生成預(yù)處理好的分詞文本；

S2，利用word2vec和Glove訓(xùn)練出所述分詞文本的詞向量，再通過擴(kuò)展所述分詞文本的詞向量特征的方式，獲得環(huán)境元嵌入作為文本語義的詞向量表示；

S3，利用BLSTM和動(dòng)態(tài)獲取上下文窗口相融合的神經(jīng)網(wǎng)絡(luò)，自動(dòng)學(xué)習(xí)上下文來抽取情感評論對象；

S4，基于局部注意力機(jī)制對具有不同情感語義貢獻(xiàn)度的詞語進(jìn)行權(quán)值分配，并通過BLSTM訓(xùn)練所述文本語義的詞向量，得到句子級特征向量；

S5，通過卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練所述句子級特征向量，得到全局的文本級特征向量；

S6，利用多分類函數(shù)Softmax對所述全局的文本級特征向量進(jìn)行分類，得到所述文本數(shù)據(jù)的情感傾向。

2.根據(jù)權(quán)利要求1所述的基于環(huán)境元嵌入和深度學(xué)習(xí)的情感傾向性分析方法，其特征在于：所述步驟S2包括如下步驟：

S21，利用word2vec訓(xùn)練得到所述分詞文本的詞向量w_1,j，利用Glove訓(xùn)練得到所述分詞文本的詞向量w_2,j，其中，j為當(dāng)前詞；

S22，將w_1,j和w_2,j進(jìn)行加權(quán)計(jì)算得到基于word2vec和Glove的環(huán)境元嵌入w_j，所述w_j滿足如下關(guān)系式：

w_j＝α_1,jw′_1,j+α_2,jw′_2,j，

其中，(i＝1,2)；h_j∈R^2m，h_j為以w′_i,j為輸入的BLSTM的第j隱藏層狀態(tài)向量；a，b為學(xué)習(xí)參數(shù)，a∈R^2m，b∈R；

其中，w′_i,j＝P_iw_i,j+b_i，(i＝1,2)；P_i表示權(quán)值矩陣；b_i表示偏置向量；

S23，將所述環(huán)境元嵌入w_j作為文本語義的詞向量表示輸入層級神經(jīng)網(wǎng)絡(luò)情感分析模型中。

3.根據(jù)權(quán)利要求2所述的基于環(huán)境元嵌入和深度學(xué)習(xí)的情感傾向性分析方法，其特征在于：所述步驟S3包括如下步驟：

S31，使用最小化負(fù)對數(shù)似然函數(shù)對BLSTM和動(dòng)態(tài)獲取上下文窗口相融合模型進(jìn)行有指導(dǎo)的學(xué)習(xí)；

S32，使用步驟S2中的所述環(huán)境元嵌入作為文本語義的詞向量進(jìn)行BLSTM和動(dòng)態(tài)獲取上下文窗口相融合模型的參數(shù)的學(xué)習(xí)，隨機(jī)初始化參數(shù)，隨機(jī)梯度下降更新參數(shù)值，以自動(dòng)學(xué)習(xí)上下文來抽取情感評論對象。

4.根據(jù)權(quán)利要求2所述的基于環(huán)境元嵌入和深度學(xué)習(xí)的情感傾向性分析方法，其特征在于：所述步驟S4包括如下步驟：

S41，使用雙向LSTM對步驟S2得到的環(huán)境元嵌入w_j進(jìn)行編碼，所述編碼過程為：

S42，連接前后向LSTM得到隱狀態(tài)，結(jié)合如下公式獲得詞語的分布式向量：

S43，使用計(jì)算各個(gè)詞向量的權(quán)重，其中，表示關(guān)聯(lián)能量，用于量化位置i的輸入和位置j的輸出之間的關(guān)系，h_j為BLSTM的第j隱藏層狀態(tài)向量，為BLSTM的第i隱藏層狀態(tài)向量，為BLSTM的第k隱藏層狀態(tài)向量；D為設(shè)定的超參數(shù)，位置p_t為窗口的中心；

S44，使用加權(quán)公式對詞向量加權(quán)求和，得到句子級特征向量。

5.根據(jù)權(quán)利要求1所述的基于環(huán)境元嵌入和深度學(xué)習(xí)的情感傾向性分析方法，其特征在于：所述步驟S5具體為：將步驟S4得到的句子級特征向量作為卷積神經(jīng)網(wǎng)絡(luò)的輸入基元，經(jīng)過卷積層、下采樣層、全連接層的向前傳播卷積操作訓(xùn)練得到全局的文本級特征向量。