[發(fā)明專利]基于可形變自注意力機(jī)制的社交網(wǎng)絡(luò)文本情感分析方法

有效

• 申請?zhí)枺?/td>: 202011540244.0
• 申請日: 2020-12-23
• 公開（公告）號: CN112528168B
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計）人: 馬千里;閆江月
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06F16/9536
• 分類號: G06F16/9536;G06F40/289;G06F40/211;G06N3/04
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 詹麗紅

本發(fā)明公開了一種基于可形變自注意力機(jī)制的社交網(wǎng)絡(luò)文本情感分析方法，用于分析用戶話語的情感。步驟如下：將用戶話語文本數(shù)據(jù)中的每個句子切分為詞，將每個詞用詞向量表示；將詞向量序列輸入雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Bi?LSTM)中得到每個詞的編碼表示；利用可形變自注意力機(jī)制，將詞的編碼表示轉(zhuǎn)化為多種具有不同上下文范圍的句子編碼表示；將多種句子編碼表示融合得到一個句子編碼表示；將融合的句子編碼表示輸入到前饋神經(jīng)網(wǎng)絡(luò)(FFN)中分類，輸出結(jié)果；根據(jù)模型輸出結(jié)果和數(shù)據(jù)真實結(jié)果，最小化交叉熵?fù)p失函數(shù)迭代訓(xùn)練模型更新參數(shù)；將待分類的社交網(wǎng)絡(luò)文本輸入到經(jīng)過訓(xùn)練的模型得到情感分析結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理中的社交網(wǎng)絡(luò)文本情感分析技術(shù)領(lǐng)域，具體涉及一種基于可形變自注意力機(jī)制的社交網(wǎng)絡(luò)文本情感分析方法。

背景技術(shù)

互聯(lián)網(wǎng)中基于用戶關(guān)系而成的內(nèi)容生產(chǎn)與交換的平臺即社交網(wǎng)絡(luò)，人們彼此之間可以分享意見觀點。利用文本情感分析方法，可以自動化的提取用戶對一些事物如產(chǎn)品、服務(wù)、事件等的情感偏向，從而幫助用戶更好的挑選自己喜歡的產(chǎn)品，幫助商家提供更加優(yōu)質(zhì)的產(chǎn)品和服務(wù)等。利用輿情情感分析還可以預(yù)測民眾對社會事件的態(tài)度，情緒的變化趨勢，從而有利于企業(yè)和政府機(jī)構(gòu)即時做出相應(yīng)調(diào)整等。社交網(wǎng)絡(luò)文本情感分析是自然語言處理中很重要的研究領(lǐng)域，在如今互聯(lián)網(wǎng)的迅速發(fā)展下，有著重要的實踐和應(yīng)用價值。

在文本情感分析的局部上下文特征提取方面，國內(nèi)外目前的方法都是提取固定尺度的上下文特征或者只考慮全局的上下文特征。然而，文本中局部上下文信息很重要，且不同的詞所需要的局部上下文大小是不一樣的。一些人使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)，該方法采用固定大小的卷積核提取幾種尺度的上下文特征(具體參見：R.Johnson and T.Zhang,“Deeppyramid convolutional neural networks for text categorization,”inProc.Annu.Meeting Assoc.Comput.Linguistics,2017.)。有些人使用自注意力模型模型(具體參見：Z.Lin,M.Feng,C.N.dos Santos,M.Yu,B.Xiang,B.Zhou,and Y.Bengio,“Astructured self-attentive sentence embedding,”2017.)，然而，RNN由于順序的編碼每一個詞，它沒有直接建模多尺度的上下文特征，自注意力模型提取的是全局的上下文特征。有一些局部自注意力模型也考慮了局部上下文特征，具體參見：T.Shen,T.Zhou,G.Long,J.Jiang,and C.Zhang,“Tensorized self-attention:Efficiently modeling pairwiseand global dependencies together,”in Proc.Conf.North Amer.ChapterAssoc.Comput.Linguistics,2019,pp.1256–1266.)，但是這種模型提取的上下文特征也是固定尺度的。目前國內(nèi)外的方法都沒有很好的針對不同的詞學(xué)習(xí)不同的尺度的局部上下文特征，提取的都是固定尺度或者全局尺度的上下文。考慮到這一點，目前亟待提出一種基于可形變自注意力機(jī)制的社交網(wǎng)絡(luò)文本情感分析方法。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中的上述缺陷，提供一種基于可形變自注意力機(jī)制的社交網(wǎng)絡(luò)文本情感分析方法，可根據(jù)不同詞自適應(yīng)提取不同尺度局部上下文特征，該方法先計算出每個詞所需要的局部上下文大小，然后利用可形變自注意力機(jī)制對每個詞在所學(xué)得的局部上下文大小內(nèi)進(jìn)行特征的提取，接著融合多種范圍的局部上下文特征，得到最終的輸入特征表示。

本發(fā)明的目的可以通過采取如下技術(shù)方案達(dá)到：

一種基于可形變自注意力機(jī)制的社交網(wǎng)絡(luò)文本情感分析方法，所述的社交網(wǎng)絡(luò)文本情感分析方法包括以下步驟：