[發明專利]一種基于語義-情感雙重關注的細粒度文本情感轉換模型

在審

• 申請號: 202110360420.0
• 申請日: 2021-04-02
• 公開（公告）號: CN113051931A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 曾佳榮;戴憲華
• 申請（專利權）人: 中山大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于語義?情感雙重關注的細粒度文本情感轉換模型，涉及自然語言處理領域，該方法包括先利用CNN提取輸入語句字符級特征，再結合Glove詞嵌入向量，一起送入雙向LSTM中提取輸入語句的上下文信息。然后在Seq2SentiSeq模型的基礎上多加一條輸入語句的情感強度嵌入分支，以及將該情感強度作為attention加入編碼過程中，從而提高了模型的轉換強度以及內容保存度。

技術領域

本發明涉及自然語言生成領域，尤其是一種基于語義-情感雙重關注的細粒度文本情感轉換模型。

背景技術

情感轉換技術旨在保留原始語義內容的同時重新表述輸入，以滿足給定的情感標簽。當前情感轉換研究主要集中在正負情感極性的反轉，細粒度情感轉換則實現了對情感反轉更細致和精確的情感控制，給定相同的輸入，系統相應的生成范圍從0(最負)到1(最正)的五個情感強度值的輸出。該技術可用于自動轉換評論的態度，打擊網絡上的暴力語言。

由于缺乏對齊語料，文本情感轉換技術發展較為緩慢，依然存在許多問題亟待解決，比如內容的保存度、生成句子的流暢性等等?；谘h強化學習的細粒度情感轉換模型可以解決這一問題。

發明內容

針對上述問題及技術需求，提出了一種基于語義-情感雙重關注的細粒度文本情感轉換模型，該方法在基于Seq2SentiSeq模型的基礎上，先利用CNN提取輸入語句字符級特征，再結合Glove詞嵌入向量，一起送入雙向LSTM中提取輸入語句的上下文信息。然后在Seq2SentiSeq模型的基礎上多加一條輸入語句的情感強度嵌入分支，以及將該情感強度作為attention加入編碼過程中，從而提高了模型的轉換強度以及內容保存度。

本發明的技術方案如下：

一種基于語義-情感雙重關注的細粒度文本情感轉換模型，該模型包括字符級與詞語級詞嵌入部分，輸入雙向LSTM捕獲源內容上下文信息部分，再分別計算語義和情感上下文向量，最后將其送入decoder端解碼，獲得生成的指定情感強度語句。通過循環強化學習算法來訓練該模型。方法包括：

將輸入語句送入CNN中，通過字符嵌入、卷積、最大池化得到句子的字符級表示；

將輸入語句通過Glove詞嵌入得到句子的詞語級嵌入；

將以上兩個嵌入結合起來，得到了句子的最終表示；

將該句子的最終表示送入雙向LSTM中，雙向LSTM具有良好的捕獲上下文的能力，從而能得到輸入句子的上下文信息；

為了在解碼過程中更好的獲取源語句的情感信息，在原Seq2SentiSeq模型已有語義關注層的基礎上，增加一個情感關注層分支，通過Local Attention機制將源語句的情感強度信息加入編碼過程；

將以上兩個關注層得到的語義與情感上下文向量送入解碼端，結合上一時刻的隱藏層向量、上一時刻的語義與情感層嵌入可得當前t時刻的解碼器隱藏層狀態；

當前時刻的解碼器隱藏層狀態通過softmax后可得整個詞語的語義概率分布；

當前時刻的解碼器隱藏層狀態通過sigmoid函數并結合高斯核函數引入目標語句的情感強度v_y可得情感概率分布；

為了平衡情感轉換與內容保存，通過一個超參數來控制兩種概率的混合；

我們使用一個基于層級注意力的情感評分器來為生成的句子進行情感打分；

將上一個步驟所得的情感分數與目標情感強度分數比較，得到情感強度獎勵r_s；

將生成語句通過以上編碼解碼重構回源語句，并比較重構的句子與源語句之間的情感強度差異，得到另一情感強度獎勵r^’_s，總的情感強度獎勵為以上兩個獎勵之和；