[發(fā)明專利]基于多記憶注意力網(wǎng)絡(luò)的方面級(jí)情感分類模型

在審

• 申請(qǐng)?zhí)枺?/td>: 202011153583.3
• 申請(qǐng)日: 2020-10-26
• 公開（公告）號(hào): CN112256876A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 梁雪春;潘代斌
• 申請(qǐng)（專利權(quán)）人: 南京工業(yè)大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/284;G06F40/30;G06F40/216;G06F40/126;G06N3/04;G06N3/08
• 代理公司: 廣東有知貓知識(shí)產(chǎn)權(quán)代理有限公司 44681
• 代理人: 王臻巍

本發(fā)明公開了一種基于多記憶注意力網(wǎng)絡(luò)的方面級(jí)情感分類模型，包括詞嵌入層、位置記憶層、Bi?LSTM網(wǎng)絡(luò)層、注意力交互記憶層、標(biāo)簽記憶層；通過多個(gè)記憶模塊學(xué)習(xí)特征信息，更精確地生成了上下文的情感特征向量，提高了模型性能。

技術(shù)領(lǐng)域

本發(fā)明涉及情感分類技術(shù)領(lǐng)域，具體為一種基于多記憶注意力網(wǎng)絡(luò)的方 面級(jí)情感分類模型。

背景技術(shù)

情感分析是自然語言處理中一項(xiàng)重要的任務(wù)，它是指通過計(jì)算機(jī)等輔助 手段，判斷人們?cè)谖谋局袑?duì)產(chǎn)品、對(duì)象、事件、服務(wù)、主題及其屬性等實(shí)體 所持有的情感、看法等感受。情感分析研究領(lǐng)域中人們一直重點(diǎn)關(guān)注的問題， 就是方面級(jí)情感分析，包括方面級(jí)情感分類和方面詞提取兩個(gè)子任務(wù)。

本發(fā)明主要對(duì)方面級(jí)別的情感分類任務(wù)進(jìn)行研究，即針對(duì)文本語句S所 表達(dá)的對(duì)象O的特定方面A，判斷文本中所表達(dá)關(guān)于A的情感極性。例如，給 定上下文：一群友好的員工，比薩餅不錯(cuò)，但是牛肉塊不值錢！該語句評(píng)論 的對(duì)象O是飯店，其中包含了三個(gè)方面A：人員，比薩餅和牛肉塊，其情感極 性分別為積極、積極和負(fù)性。顯然，不同目標(biāo)方面的情感極性除了要考慮語 句的上下文信息，還要考慮目標(biāo)方面的特征信息。如果忽略目標(biāo)方面的信息， 那么將很難判斷文本的情感極性。Jiang人工對(duì)Twitter數(shù)據(jù)集的情感分類的 結(jié)果進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果顯示：約40％的情感分析的錯(cuò)誤源于缺乏對(duì)方面信息 的關(guān)注。因此，人們?cè)絹碓疥P(guān)注方面級(jí)情感分類的研究。

傳統(tǒng)方法普遍會(huì)建立情感詞典或人工設(shè)計(jì)特征，例如詞袋，再將情感詞 典投入到情感分類器來進(jìn)行分類。但是，這種人工構(gòu)造的方法是勞動(dòng)密集型 的，幾乎達(dá)到了其性能瓶頸。深度神經(jīng)網(wǎng)絡(luò)模型在自然語言處理任務(wù)中發(fā)展 迅速，在NLP的一些子領(lǐng)域中成功應(yīng)用(例如：機(jī)器翻譯和自動(dòng)問答)，推 動(dòng)研究人員將注意力從早期人工設(shè)計(jì)特征的傳統(tǒng)方法遷移到深度學(xué)習(xí)方法。 近年來，基于RNN(Recursive Neural Networks,RNN)的序列神經(jīng)網(wǎng)絡(luò)模型 能解決梯度消失或爆炸，在方面級(jí)情感分類表現(xiàn)較好，如LSTM(Long Short-TermMemory)、雙向LSTM模型等。

由于江等人指出情感分類有多數(shù)錯(cuò)誤是因?yàn)槲丛诜诸愔锌紤]方面詞而引 起的，最近的研究?jī)A向于在建模上下文時(shí)考慮其與目標(biāo)方面詞之間的內(nèi)在聯(lián) 系。Dong等人提出了一種自適應(yīng)遞歸神經(jīng)網(wǎng)絡(luò)(Recursive Neural Networks, RNN)，基于文本的句法關(guān)系，將情感從上下文詞傳播到特定目標(biāo)。Vo和Zhang 將整個(gè)語句分為三個(gè)部分，即左上下文和右上下文以及目標(biāo)方面詞，然后使 用池化函數(shù)和情感詞典生成依賴于目標(biāo)方面詞的特征。MA等提出 IAN(Interactive Attention Networks)模型，他是通過LSTM分別對(duì)上下 文和方面詞進(jìn)行建模，再利用兩者的隱層信息，經(jīng)池化函數(shù)相互監(jiān)督生成新 的注意力權(quán)重。韓虎等提出了LT-T-TR模型，將目標(biāo)語句分為包含方面詞的 上文、目標(biāo)方面、包含方面詞的下文，通過注意力機(jī)制來學(xué)習(xí)上下和下文到 目標(biāo)之間的注意力權(quán)重，提高情感分析的準(zhǔn)確率。楊鵬等人將交互式注意力 神經(jīng)網(wǎng)絡(luò)應(yīng)用到細(xì)粒度情感分類，驗(yàn)證了以IAN為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型能關(guān) 注到上下文詞與目標(biāo)方面詞的交互信息，從而提高方面級(jí)情感分類的準(zhǔn)確率。