[發明專利]基于強化學習的情感對話異步生成模型生成文本的方法

在審

• 申請號: 201910361253.4
• 申請日: 2019-04-30
• 公開（公告）號: CN110032636A
• 公開（公告）日: 2019-07-19
• 發明（設計）人: 衛星;李佳;張乾威;張建軍;丁震;馬彥辰;陸陽;楊國強;魏振春;姜浩然;王致遠;盧朝睿
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F17/27
• 代理公司: 北京匯信合知識產權代理有限公司 11335
• 代理人: 戴鳳儀

本發明公開了基于強化學習的情感對話異步生成模型生成文本的方法，包括以下步驟：選擇一個agent，x代表外界環境輸入的句子，y代表agent針對輸入給出的回答、使用結構預測器來預測回答中是否需要包含關鍵詞、使用關鍵詞預測器來生成對應的關鍵詞和采用異步生成方法來生成文本；本發明在分析用戶情感時通過結構預測器和關鍵詞預測器生成合適的情感關鍵詞，生成模塊再以此為基礎擴展出帶有情感色彩的回復，生成的回答較具有更強的情感相關度、情感強度，更能夠提升體驗感，主題在回答中的表達更加清晰，通過異步解碼器的異步生成框架，摒棄了一次性從左到右的生成全部的回復的做法，減少了單個解碼器的壓力，組合后的回答更加多樣化。

技術領域

本發明涉及人工智能技術領域，尤其涉及基于強化學習的情感對話異步生成模型生成文本的方法。

背景技術

近年來，隨著人工智能與機器人領域如火如荼的發展，情感計算(AffectiveComputing)在人工智能的人機交互相關研究中的地位越來越重要，兼具情感與智能的人工智能有更高的實用價值和現實意義，情感對話在教育行業、管理行業、貿易方面以及健康領域有著重要發展和深刻影響。

基于先驗知識庫的索引與匹配模型和基于傳統RNN的神經網絡語言模型是目前使用廣泛的兩種情感對話模型，但這兩種模型均存在著一些缺陷，以上兩種模型雖然可以注意到情感因素在對話系統中的重要性，但取得的效果卻不盡人意，不能夠很好的挖掘對話內容中的情感要素，生成的回答情感強度不可控、不細致，難以充分發揮情感在對話中的作用，生成的句子顯得十分生硬和呆板，因此本發明提出基于強化學習的情感對話異步生成模型生成文本的方法，以解決現有技術中的不足之處。

發明內容

針對上述問題，本發明在分析用戶情感的同時，通過結構預測器和關鍵詞預測器生成合適的情感關鍵詞，生成模塊再以此為基礎擴展出帶有情感色彩的回復，生成的回答較具有更強的情感相關度、情感強度，更能夠提升體驗感，主題在回答中的表達更加清晰，通過異步解碼器的異步生成框架，摒棄了一次性從左到右的生成全部的回復的做法，減少了單個解碼器的壓力，組合后的回答更加多樣化。

本發明提出基于強化學習的情感對話異步生成模型生成文本的方法，包括以下步驟：

步驟一：選擇一個agent，設定所述agent中x代表外界環境輸入的句子，y代表agent針對輸入給出的回答，然后給定一個問句post，利用編碼器對問句post進行編碼；

步驟二：首先根據輸入的問句post，使用結構預測器來預測回答中是否需要包含關鍵詞，以及關鍵詞之間的位置關系，其中關鍵詞為情感關鍵詞和主題關鍵詞；

步驟三：基于步驟二中的預測結果，使用關鍵詞預測器來生成對應的關鍵詞，并將生成的關鍵詞作為先驗知識指導回答的生成；

步驟四：生成關鍵詞之后，采用異步生成方法來生成文本，然后對生成的回答進行連貫度、主題相關度以及情感相關度的指標考量，為了促進各個指標之間的學習，引入基于參數共享的多任務學習策略，在回答的生成過程中共享編碼器，在各個子句的生成過程中，使用同一個編碼器使各個指標相互結合，從整體的角度去衡量一個句子的質量，并對生成的子句進行計算獎勵。

進一步改進在于：所述步驟二中結構預測器沒有預測到關鍵詞時，使用一個普通的前向解碼器來生成回答，結構預測器預測到一個情感關鍵詞時，采用異步解碼器從情感關鍵詞向前、向后生成回答，結構預測器預測到只有一個主題關鍵詞時，采用異步解碼器從主題關鍵詞向前、向后生成回答，結構預測器預測到包含主題關鍵詞和情感關鍵詞，且順序為主題關鍵詞在前，情感關鍵詞在后時，以兩個關鍵詞為界限將句子分為三部分，采用異步解碼器依次生成三個子句，結構預測器預測到包含主題關鍵詞和情感關鍵詞，且順序為情感關鍵詞在前，主題關鍵詞在后時，以兩個關鍵詞為界限將句子分為三個部分，采用異步解碼器依次生成三個子句。