[發(fā)明專利]一種基于Bert的雙通道Attention模型的文本情感分析方法

在審

• 申請?zhí)枺?/td>: 202211370656.3
• 申請日: 2022-11-03
• 公開（公告）號: CN115906816A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計）人: 張麗;李志惠;宋奇鍵
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06F40/247
• 分類號: G06F40/247;G06F16/35;G06F16/951;G06N3/0464;G06N3/08
• 代理公司: 北京匯信合知識產(chǎn)權(quán)代理有限公司 11335
• 代理人: 黃素云

本發(fā)明提供一種基于Bert的雙通道Attention模型的文本情感分析方法，涉及人工智能技術(shù)領(lǐng)域，包括：對文本數(shù)據(jù)集進行預(yù)處理，并通過Bert模型轉(zhuǎn)化為詞向量；將詞向量分別輸入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；將全局特征信息和局部特征信息分別輸入注意力層，注意力層通過配置情感詞的權(quán)重分值分別對全局特征信息和局部特征信息進行優(yōu)化，得到全局特征向量和局部特征向量；融合全局特征向量和局部特征向量，輸入全連接層；將全連接層的輸出結(jié)果輸入softmax層進行情感分類，得到情感分類結(jié)果。本發(fā)明充分挖掘文本的深層語義信息，提高了情感分類的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其是涉及一種基于Bert的雙通道Attention模型的文本情感分析方法。

背景技術(shù)

隨著物流的發(fā)展和網(wǎng)上購物平臺的普及，使得人們的在線購物更加高效與頻繁，越來越多的人們通過網(wǎng)上購物平臺購買自己需要的產(chǎn)品，并發(fā)表自己對于產(chǎn)品的評價，例如在淘寶平臺中進行購物并對購買的產(chǎn)品發(fā)表自己關(guān)于產(chǎn)品以及客服態(tài)度和物流的觀點，如何從購物平臺中的文本評論信息中分析出信息發(fā)布者的情感傾向，是自然語言處理領(lǐng)域的一個重要內(nèi)容。

情感分析的主要任務(wù)是針對各種帶有主觀性情感傾向的文本，通過對文本進行預(yù)處理、語義信息分析、總結(jié)及對文本所攜帶的情感傾向進行預(yù)測。目前，文本情感分析的方法主要有基于情感詞典、基于機器學(xué)習(xí)和基于深度學(xué)習(xí)這三種方法?；谇楦性~典的文本情感分析主要依賴于情感詞典的構(gòu)建，構(gòu)建合適的情感詞典需要消耗大量的人力資源，同時各種新詞語層出不窮，情感詞典也需要不斷進行更新維護才能保證情感詞典的質(zhì)量；基于機器學(xué)習(xí)的文本情感分析，首先需要使用人工的方法對數(shù)據(jù)集按照需求進行標(biāo)注，標(biāo)注好的數(shù)據(jù)集會被作為訓(xùn)練集，之后，利用機器學(xué)習(xí)的一些方法在訓(xùn)練集上進行特征提取并獲取機器學(xué)習(xí)的模型，最后使用該模型對文本進行情感分析進而輸出情感分析結(jié)果，文本情感的提取方法和分類器的設(shè)計對基于機器學(xué)習(xí)的文本情感分析方法的結(jié)果有至關(guān)重要的決定作用，同時機器學(xué)習(xí)的方法還依賴于人工標(biāo)注數(shù)據(jù)的質(zhì)量，還存在維度爆炸和特征稀疏的缺點，在特征提取上比較困難。

近來，自然語言領(lǐng)域逐漸應(yīng)用深度學(xué)習(xí)的技術(shù)進行研究，卷積神經(jīng)網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)和注意力機制等廣泛應(yīng)用在自然語言領(lǐng)域，在文本情感分析中的應(yīng)用也較多，這些技術(shù)可以學(xué)習(xí)到文本深層次的信息，一定程度上提高了情感分類的準(zhǔn)確度，但是仍舊存在無法挖掘到文本更多的隱含信息，存在對文本的語義信息利用不充分，準(zhǔn)確率不高等問題。

發(fā)明內(nèi)容

針對上述社交網(wǎng)絡(luò)中隱私信息擴散傳播問題，本發(fā)明提供了一種基于Bert的雙通道Attention模型的文本情感分析方法，充分挖掘文本的深層語義信息，提高了情感分類的準(zhǔn)確率。

為實現(xiàn)上述目的，本發(fā)明提供了一種基于Bert的雙通道Attention模型的文本情感分析方法，包括：對文本數(shù)據(jù)集進行預(yù)處理，并通過Bert模型轉(zhuǎn)化為詞向量；

將所述詞向量分別輸入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；

將所述全局特征信息和所述局部特征信息分別輸入注意力層，所述注意力層通過配置情感詞的權(quán)重分值分別對全局特征信息和局部特征信息進行優(yōu)化，得到全局特征向量和局部特征向量；

融合所述全局特征向量和局部特征向量，輸入全連接層；

將全連接層的輸出結(jié)果輸入softmax層進行情感分類，得到情感分類結(jié)果。

作為本發(fā)明的進一步改進，采用爬蟲技術(shù)獲取產(chǎn)品的評論內(nèi)容，構(gòu)建所述文本數(shù)據(jù)集。

作為本發(fā)明的進一步改進，所述對文本數(shù)據(jù)集進行預(yù)處理，包括：

將不包含情感信息的空格符、標(biāo)點符號、無法識別的表情符號及鏈接去除；

將自動好評去除；

將數(shù)字和字母大小寫統(tǒng)一化；