[發明專利]基于HRED和內外記憶網絡單元的情感對話生成方法

在審

• 申請號: 201810186491.1
• 申請日: 2018-03-07
• 公開（公告）號: CN108563628A
• 公開（公告）日: 2018-09-21
• 發明（設計）人: 卓漢逵;紀登林
• 申請（專利權）人: 中山大學
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30;G06K9/62;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于HRED和內外記憶網絡單元的情感對話生成方法，其特征在于，包括以下步驟：

S1：準備情感對話系統數據；

S2：對于S1得到的數據集若是單輪對話，利用該單輪對話數據集對編碼-解碼模型進行訓練，其中在解碼模塊中添加預先訓練的情感類別的詞向量以及內外記憶單元，模型訓練完畢后進行測試；

S3：對于S1中得到的數據集若是多輪對話，利用該多輪對話數據集采用層次循環神經網絡模型進行訓練，將每輪對話的中間上下文向量與該輪對話的情感向量拼接作為輸入另構建一層循環神經網絡，模型訓練完畢后進行測試，給定一句話和接下來兩句話的情感標簽，可以生成接下來兩輪對話的語句。

2.根據權利要求1所述的基于HRED和內外記憶網絡單元的情感對話生成方法，其特征在于，所述步驟S1中訓練文本情感分類器的模型對比基于詞匯的情感分析，選擇Bi-LSTM模型，該模型在測試集上的準確率為0.623。

3.根據權利要求2所述的基于HRED和內外記憶網絡單元的情感對話生成方法，其特征在于，所述步驟S2中情感類別的詞向量是經過單獨訓練的，解碼階段是原始輸入與情感向量和上下文向量進行拼接作為新的輸入，如果情感向量是靜態不變的那么在語句生成的過程中為了考慮情感的影響會導致輸出產生比較嚴重的語法錯誤，采用一個內部記憶網絡模塊來捕獲情感的動態變化，情感狀態將會隨著語句的生成逐漸減弱，當語句生成完成時情感狀態的值將會衰減到0，依靠內部記憶模塊無法顯示情感狀態與當前步所選詞匯之間的關系，通過構建了一個外部記憶模塊，通過訓練出不同的情感詞和非情感詞的生成概率分布來顯式的表達情感。

4.根據權利要求3所述的基于HRED和內外記憶網絡單元的情感對話生成方法，其特征在于，所述步驟S3中多輪對話與單輪對話的區別在于對于人類對話而言，不只考慮當前對話的問題還考慮前幾輪對話對當前對話的影響，而每輪對話編碼完之后會生成一個上下文向量，將每輪對話的上下文向量作為一個新的上下文循環神經網絡的輸入，使得后面的對話會考慮到前面幾輪對話的信息，將情感向量與上下文向量進行拼接將前幾輪對話的情感狀態信息傳遞給后面的對話。

5.根據權利要求4所述的基于HRED和內外記憶網絡單元的情感對話生成方法，其特征在于，所述步驟S1中，使用NLPCC數據集訓練一個文本情感分類器，并使用訓練出來的分類器對智能客服聊天數據集進行自動標注構建所需要的多輪情感對話數據集。