[發(fā)明專利]一種利用上下文和方面記憶信息的情感分類方法

有效

• 申請?zhí)枺?/td>: 201911291726.4
• 申請日: 2019-12-16
• 公開（公告）號(hào): CN111079409B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 魏方娜;呂艷霞;鄭瑩
• 申請（專利權(quán)）人: 東北大學(xué)秦皇島分校
• 主分類號(hào): G06F40/211
• 分類號(hào): G06F40/211;G06F18/24;G06N3/0442;G06N3/08
• 代理公司: 沈陽東大知識(shí)產(chǎn)權(quán)代理有限公司 21109
• 代理人: 李在川

本發(fā)明提供一種利用上下文和方面記憶信息的情感分類方法，涉及情感分析技術(shù)領(lǐng)域。本發(fā)明通過選擇待進(jìn)行情感分析的數(shù)據(jù)集，建立基于方面的情感分析模型，通過交叉熵?fù)p失函數(shù)與Lsubgt;2/subgt;正則化項(xiàng)的和來訓(xùn)練基于方面的情感分析模型，將待進(jìn)行情感分析的數(shù)據(jù)集通過訓(xùn)練好的基于方面的情感分析模型，實(shí)現(xiàn)文本的情感分析。本發(fā)明提出的網(wǎng)絡(luò)模型來提取方面的情感極性，該模型構(gòu)建并結(jié)合了上下文記憶構(gòu)建、方面記憶更新和情感分類模塊來解決方面級(jí)別的情感分類任務(wù)，將多頭注意力機(jī)制應(yīng)用到基于方面的情感分析中，并考慮兩種應(yīng)用方法，由于多頭注意力機(jī)制中每一頭的權(quán)值是不共享的，因此該模型可以學(xué)習(xí)不同子空間的特征表示，從而做出更準(zhǔn)確的預(yù)測。

技術(shù)領(lǐng)域

本發(fā)明涉及情感分析技術(shù)領(lǐng)域，尤其涉及一種利用上下文和方面記憶信息的情感分類方法。

背景技術(shù)

情感分析(Sentiment?analysis)又稱為意見挖掘、主觀性分析等，是自然語言處理的任務(wù)之一。它是對帶有情感色彩的內(nèi)容進(jìn)行歸納和推理的一個(gè)過程。隨著網(wǎng)絡(luò)時(shí)代的發(fā)展，越來越多的人熱衷于在網(wǎng)絡(luò)上發(fā)表自己的情感、觀點(diǎn)和態(tài)度，情感分析就是將這些觀點(diǎn)態(tài)度提取出來的一個(gè)過程。由于在網(wǎng)絡(luò)上產(chǎn)生的大量數(shù)據(jù)都是以文本的形式存在的，所以基于文本的情感分析是至關(guān)重要的。情感分析可以分為三個(gè)層次粒度：文檔級(jí)別(document-level)、句子級(jí)別(sentence-level)和方面級(jí)別(aspect-level)。文檔級(jí)別的情感分類是為含有一個(gè)意見的文檔確定一個(gè)整體的情感極性。句子級(jí)別的情感分析是為一個(gè)句子確定一個(gè)情感極性。與文檔級(jí)別和句子級(jí)別的情感分類不同的是，方面級(jí)別的情感分析既要考慮句子的內(nèi)容，又考慮句子的目標(biāo)信息，因?yàn)榍楦锌偸怯心繕?biāo)的。目前很多方法都嘗試提取出表達(dá)意見文本的整體的情感極性，而忽略了其中的實(shí)體，方面或者目標(biāo)。方面級(jí)別的情感分析是具有挑戰(zhàn)的，它是一種細(xì)粒度的任務(wù)。基于方面的情感分析是通過輸入的句子的方面來判斷句子中關(guān)于每個(gè)方面的情感極性。輸入的句子可以是商品評論，社交網(wǎng)絡(luò)評論等帶有方面的句子。例如在句子“食物出奇的好吃，餐廳的裝飾也很不錯(cuò)”中，“食物”和“裝飾”就是句子的提到的兩個(gè)方面。在這個(gè)句子中它們的情感極性都是積極的。

解決基于方面的情感分析主要有三種方法。第一種是傳統(tǒng)的使用情感詞典和規(guī)則進(jìn)行情感分析的方法。但是在很多情況下分類的效果受限于情感詞典的質(zhì)量，而情感詞典的構(gòu)建費(fèi)時(shí)又費(fèi)力。第二種是使用機(jī)器學(xué)習(xí)進(jìn)行情感分析的方法。以往，研究人員通常使用樸素貝葉斯(NB)或支持向量機(jī)(SVM)等分類模型。這些方法是基于在高維稀疏數(shù)據(jù)結(jié)構(gòu)上訓(xùn)練的淺層模型。因此，這些分類模型側(cè)重于設(shè)計(jì)有效的手工特征，以獲得更好的性能。然而。特征工程是一項(xiàng)非常困難、耗時(shí)和專業(yè)的工作。第三種是深度學(xué)習(xí)方法。深度神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點(diǎn)是可以自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)文本特征或表示形式，而無需預(yù)先仔細(xì)設(shè)計(jì)特征。并且在捕獲方面和上下文單詞之間語義關(guān)系的擴(kuò)展性上，他們比基于機(jī)器學(xué)習(xí)的方法更強(qiáng)。在情感分析方面，研究人員提出了各種深度神經(jīng)網(wǎng)絡(luò)模型。這些模型可以獲得稠密的、低維的詞嵌入，從而產(chǎn)生更好的句子表示。下面將詳細(xì)介紹基于方面情感分析的深度學(xué)習(xí)模型。

在情感分析領(lǐng)域中，長短期記憶網(wǎng)絡(luò)(LSTM)已經(jīng)得到了廣泛的應(yīng)用。該模型擅長對自然語言建模，很好地解決了自然語言句子向量化的難題。LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體，其包含了輸入門、輸出門、遺忘門和細(xì)胞狀態(tài)，解決了RNN中長序列依賴問題。但是，在解決基于方面的情感分析任務(wù)時(shí)，標(biāo)準(zhǔn)的LSTM模型以順序的方式工作，并使用相同的操作獲取每個(gè)上下文單詞的向量，因此它不能顯式地捕捉每個(gè)上下文單詞的重要性。同時(shí)該模型還面臨的一個(gè)問題是：當(dāng)它捕捉到一個(gè)遠(yuǎn)離目標(biāo)的情感特征后，它需要一個(gè)字一個(gè)字地傳播給目標(biāo)，在這種情況下，它可能會(huì)失去這個(gè)特征。