[發明專利]基于強化學習的情感對話異步生成模型生成文本的方法

在審

• 申請號: 201910361253.4
• 申請日: 2019-04-30
• 公開（公告）號: CN110032636A
• 公開（公告）日: 2019-07-19
• 發明（設計）人: 衛星;李佳;張乾威;張建軍;丁震;馬彥辰;陸陽;楊國強;魏振春;姜浩然;王致遠;盧朝睿
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F17/27
• 代理公司: 北京匯信合知識產權代理有限公司 11335
• 代理人: 戴鳳儀

1.基于強化學習的情感對話異步生成模型生成文本的方法，其特征在于：包括以下步驟：

步驟一：選擇一個agent，設定所述agent中x代表外界環境輸入的句子，y代表agent針對輸入給出的回答，然后給定一個問句post，利用編碼器對問句post進行編碼；

步驟二：首先根據輸入的問句post，使用結構預測器來預測回答中是否需要包含關鍵詞，以及關鍵詞之間的位置關系，其中關鍵詞為情感關鍵詞和主題關鍵詞；

步驟三：基于步驟二中的預測結果，使用關鍵詞預測器來生成對應的關鍵詞，并將生成的關鍵詞作為先驗知識指導回答的生成；

步驟四：生成關鍵詞之后，采用異步生成方法來生成文本，然后對生成的回答進行連貫度、主題相關度以及情感相關度的指標考量，為了促進各個指標之間的學習，引入基于參數共享的多任務學習策略，在回答的生成過程中共享編碼器，在各個子句的生成過程中，使用同一個編碼器使各個指標相互結合，從整體的角度去衡量一個句子的質量，并對生成的子句進行計算獎勵。

2.根據權利要求1所述的基于強化學習的情感對話異步生成模型生成文本的方法，其特征在于：所述步驟二中結構預測器沒有預測到關鍵詞時，使用一個普通的前向解碼器來生成回答，結構預測器預測到一個情感關鍵詞時，采用異步解碼器從情感關鍵詞向前、向后生成回答，結構預測器預測到只有一個主題關鍵詞時，采用異步解碼器從主題關鍵詞向前、向后生成回答，結構預測器預測到包含主題關鍵詞和情感關鍵詞，且順序為主題關鍵詞在前，情感關鍵詞在后時，以兩個關鍵詞為界限將句子分為三部分，采用異步解碼器依次生成三個子句，結構預測器預測到包含主題關鍵詞和情感關鍵詞，且順序為情感關鍵詞在前，主題關鍵詞在后時，以兩個關鍵詞為界限將句子分為三個部分，采用異步解碼器依次生成三個子句。

3.根據權利要求1所述的基于強化學習的情感對話異步生成模型生成文本的方法，其特征在于：所述步驟二中對于輸入的問句post，首先利用編碼器得出隱向量序列h，再通過一個全連接層算出z^s，具體過程如公式(1)所示：

其中，i∈{0,1,2,3,4},對于每個輸入的問句post，編碼器都會首先執行，并根據預測的回答結構確定下一步的工作。

4.根據權利要求1所述的基于強化學習的情感對話異步生成模型生成文本的方法，其特征在于：所述步驟三中采用關鍵詞預測器生成對應的關鍵詞時，首先利用預訓練的LDA模型對輸入的問句post進行分析，預測回答的主題類別，引入主題類別向量和情感類別向量，由類別算出對應的向量，再利用類別向量進一步預測關鍵詞，生成先驗知識，最后采用注意力機制來強化情感特征。

5.根據權利要求4所述的基于強化學習的情感對話異步生成模型生成文本的方法，其特征在于：所述步驟三中的先驗知識需要綜合，通過計算不同類別的知識向量k＝{k^et,k^tp}之間的相聯度以及編碼器的隱向量序列，作為注意力框架中的權重參數，其具體的計算細節如下公式(2)、(3)和(4)所示：

其中，*∈{et，tp}表示是主題或者情感，和為可訓練的參數；信息最終被綜合在權重向量c^k,*中，關鍵詞的條件概率分別通過以下公式(5)和(6)進行計算：

其中，c^k,et和c^k,tp是利用公式(2)得出的，公式(5)和(6)可以看做是一種多類別的分類器，它會生成整個情感詞典和主題詞典上的概率分布，從而從詞典中選出最合適的關鍵詞。

6.根據權利要求1所述的基于強化學習的情感對話異步生成模型生成文本的方法，其特征在于：所述步驟四中采用異步生成方法來生成文本的具體過程為：將步驟一中設定的句子x送入模型中轉化為向量表示，從而使agent更新自身狀態，做出相應的動作，生成對應的回答，使用隨機取樣策略得出回答語句，并使用policy gradient策略進行網絡訓練。