[發(fā)明專(zhuān)利]一種融合先驗(yàn)知識(shí)模型的蒙古語(yǔ)多模態(tài)細(xì)粒度情感分析方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110765525.4
• 申請(qǐng)日: 2021-07-07
• 公開(kāi)（公告）號(hào): CN113609849A
• 公開(kāi)（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 仁慶道爾吉;張倩;張文靜;劉馨遠(yuǎn);張畢力格圖;郎佳珺;蘇依拉;李雷孝
• 申請(qǐng)（專(zhuān)利權(quán)）人: 內(nèi)蒙古工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06F40/284
• 分類(lèi)號(hào): G06F40/284;G06F40/30;G06F40/242;G06F40/58;G06N3/04;G06N3/08
• 代理公司: 武漢菲翔知識(shí)產(chǎn)權(quán)代理有限公司 42284
• 代理人: 劉谷紅

1.一種融合先驗(yàn)知識(shí)模型的蒙古語(yǔ)多模態(tài)細(xì)粒度情感分析方法，其特征在于，包括如下步驟：

步驟1：對(duì)含有表情符的中文和蒙古語(yǔ)情感語(yǔ)料庫(kù)進(jìn)行預(yù)處理；

步驟2：通過(guò)機(jī)器翻譯技術(shù)將含有表情符的中文語(yǔ)料翻譯成蒙古語(yǔ)語(yǔ)料；

步驟3：用融合jieba分詞和正則化的BPE分詞技術(shù)對(duì)蒙古語(yǔ)語(yǔ)料進(jìn)行分詞；

步驟4：將分詞得到的蒙古語(yǔ)文本語(yǔ)料和表情符表示成動(dòng)態(tài)詞向量并將二者拼接成新的詞向量；

步驟5：引入注意力機(jī)制對(duì)新的詞向量分配不同的權(quán)重，有側(cè)重點(diǎn)地提取情感特征；

步驟6：分別創(chuàng)建蒙古語(yǔ)情感詞典和表情符的情感詞典作為模型的先驗(yàn)知識(shí)；

步驟7：將融合先驗(yàn)知識(shí)的模型在大規(guī)模的語(yǔ)料進(jìn)行預(yù)訓(xùn)練，得到融合先驗(yàn)知識(shí)模型的蒙古語(yǔ)多模態(tài)細(xì)粒度情感分析模型；

步驟8：將融合先驗(yàn)知識(shí)模型的蒙古語(yǔ)多模態(tài)細(xì)粒度情感分析模型的分析結(jié)果與單一網(wǎng)絡(luò)分析方法的分析結(jié)果就準(zhǔn)確率、精確率、召回率和F1值進(jìn)行對(duì)比和評(píng)價(jià)。

2.根據(jù)權(quán)利要求1所述融合先驗(yàn)知識(shí)模型的蒙古語(yǔ)多模態(tài)細(xì)粒度情感分析方法，其特征在于，所述步驟1中，預(yù)處理是對(duì)所獲取的語(yǔ)料進(jìn)行數(shù)據(jù)清洗，包括移除用戶(hù)名信息、移除URLS、移除特殊字符的步驟；所述步驟2中，通過(guò)已獲取的含有表情符的中文語(yǔ)料進(jìn)行機(jī)器翻譯轉(zhuǎn)化成蒙古語(yǔ)語(yǔ)料。

3.根據(jù)權(quán)利要求2所述融合先驗(yàn)知識(shí)模型的蒙古語(yǔ)多模態(tài)細(xì)粒度情感分析方法，其特征在于，采用jieba分詞和正則化的字節(jié)對(duì)編碼技術(shù)分詞技術(shù)對(duì)預(yù)處理的語(yǔ)料信息進(jìn)行切分操作，利用GloVe模型將文本語(yǔ)料和表情符訓(xùn)練生成對(duì)應(yīng)的詞向量，二者拼接形成新的詞向量，并對(duì)新的詞向量采用貪心處理方式進(jìn)一步發(fā)現(xiàn)未登錄詞，修正切分結(jié)果。

4.根據(jù)權(quán)利要求2所述融合先驗(yàn)知識(shí)模型的蒙古語(yǔ)多模態(tài)細(xì)粒度情感分析方法，其特征在于，所述利用GloVe訓(xùn)練生成詞向量的目標(biāo)函數(shù)J(W)為：

其中，W為詞向量矩陣，W∈R^|V|*d，|V|表示詞的數(shù)量，d表示詞向量維數(shù)；X_ij表示詞w_j在詞w_i的語(yǔ)境下出現(xiàn)的次數(shù)，W_i表示詞w_i的詞向量，W_j表示詞w_j的詞向量，f(X_ij)是權(quán)重項(xiàng)，用于去除低頻項(xiàng)噪聲，其表達(dá)式如下：

其中，X_max為X_i中的最大值，X_i表示在詞w_i的語(yǔ)境下出現(xiàn)的所有的詞的次數(shù)，X_i＝∑_jX_ij；

對(duì)于原分詞結(jié)果γ＝w₁w₂…w_m，從頭開(kāi)始比較當(dāng)前詞w_i的詞向量W_i與下一個(gè)詞w_i+1的詞向量W_i+1的夾角余弦值，夾角余弦值公式為：

若該夾角余弦值大于預(yù)先給定的閾值λ，則認(rèn)為詞w_i和詞w_i+1組成新詞，組合后的詞向量為二者加和歸一化的結(jié)果，計(jì)算公式為：

利用python編譯器TensorFlow框架里面的拼接方法，將生成了文本詞向量和表情符詞向量進(jìn)行拼接操作，得到新的詞向量new_wordvector：

new_wordvector

＝tensorflow.concat([Text_wordvector，emoji_wordvector]，1)

利用該新詞的詞向量繼續(xù)進(jìn)行貪心地匹配，直到句子結(jié)束，得到修正后的切分結(jié)果其中m為原分詞結(jié)果Y中的詞向量的個(gè)數(shù)，n為修正后的切分結(jié)果中的詞向量的個(gè)數(shù)。