[發(fā)明專利]一種基于語(yǔ)義-情感雙重關(guān)注的細(xì)粒度文本情感轉(zhuǎn)換模型

在審

• 申請(qǐng)?zhí)枺?/td>: 202110360420.0
• 申請(qǐng)日: 2021-04-02
• 公開（公告）號(hào): CN113051931A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 曾佳榮;戴憲華
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06N3/04
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于語(yǔ)義-情感雙重關(guān)注的細(xì)粒度文本情感轉(zhuǎn)換模型，其特征在于，所述雙重關(guān)注模型包括CNN提取輸入語(yǔ)句字符級(jí)特征、Glove詞嵌入獲得詞語(yǔ)向量、雙向LSTM中提取輸入語(yǔ)句的上下文信息，語(yǔ)義與情感雙重關(guān)注層，所述方法包括：

將數(shù)據(jù)集中的句子輸入CNN，依次經(jīng)過(guò)字符編碼、卷積、最大池化，最終獲得詞語(yǔ)的字符級(jí)表示；

將輸入語(yǔ)句用Glove詞嵌入方式嵌入，本模型采用斯坦福公布的100d詞嵌入，最終獲得輸入語(yǔ)句的詞語(yǔ)級(jí)嵌入表示；

將以上兩種表示聯(lián)合起來(lái)一起送入雙向LSTM中，LSTM隱藏層數(shù)為256；

為了在解碼過(guò)程中更好的獲取源語(yǔ)句的情感信息，在原Seq2SentiSeq模型已有語(yǔ)義關(guān)注層的基礎(chǔ)上，增加一個(gè)情感關(guān)注層分支，通過(guò)Local Attention機(jī)制將源語(yǔ)句的情感強(qiáng)度信息加入編碼過(guò)程；

將以上兩個(gè)關(guān)注層得到的語(yǔ)義與情感上下文向量送入解碼端，結(jié)合上一時(shí)刻的隱藏層向量、上一時(shí)刻的語(yǔ)義與情感層嵌入可得當(dāng)前t時(shí)刻的解碼器隱藏層狀態(tài)；根據(jù)解碼器狀態(tài)分別計(jì)算語(yǔ)義概率分布與情感概率分布，最終根據(jù)兩種概率分布解碼輸出。

2.根據(jù)權(quán)利要求所述的方法，其特征在于，所述CNN字符級(jí)嵌入模塊依次包括字符編碼、卷積、最大池化層；Glove詞嵌入采用斯坦福公布的100d詞嵌入。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，對(duì)語(yǔ)義和情感分別采取LocalAttention機(jī)制，該機(jī)制的窗口大小服從高斯分布。

4.所述方法還包括：生成語(yǔ)句情感強(qiáng)度與目標(biāo)情感強(qiáng)度的差異所生成的獎(jiǎng)勵(lì)r_s，生成語(yǔ)句重構(gòu)回源語(yǔ)句的情感獎(jiǎng)勵(lì)r’_s，兩者共同組成情感獎(jiǎng)勵(lì)指導(dǎo)模型訓(xùn)練，從而提高模型的內(nèi)容保存度與情感強(qiáng)度轉(zhuǎn)換度。