[發明專利]一種基于自注意力機制的情感對話生成方法與裝置

有效

• 申請號: 201910596166.7
• 申請日: 2019-07-03
• 公開（公告）號: CN110427490B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 魏巍;劉家邑;陳志毅;王子揚;王贊博;李恒
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/30;G06N3/04
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 李丹

本發明公開了一種基于自注意力機制的情感對話生成方法與裝置，該方法包括以下步驟：1)接收用戶Post的輸入語句以及對應的情感標簽E_p；2)根據接收語句的情感信息和語義信息，獲得回復情感E_r；3)根據回復情感E_r和接收語句的語義信息，生成對應的回復。本發明能夠自動感知上文語義和情感信息并生成帶有合適情感的回復。

技術領域

本發明涉及自然語言處理技術領域，尤其涉及一種基于自注意力機制的情感對話生成方法與裝置。

背景技術

傳統的閑聊型聊天機器人主要采用的是模式匹配、人工智能標記語言(AIML)、基于檢索的和基于統計理論等技術。這些技術大多依賴預定義的模板規則或者人工標注，僅能較好地解決特定領域的對話生成問題，然而其針對開放領域的對話生成效果則會較差。得益于互聯網大量的聊天數據和設備計算能力的提升，基于深度學習技術的對話生成逐漸成為目前聊天機器人主流技術，因為序列到序列模型(Sequence to Sequence Model,Seq2seq)能夠減少構建對話引擎過程中的特征工程量、能夠產生原始數據以外的回復、且能夠端到端的訓練。最近，基于Seq2seq模型，許多研究工作提出了帶有情感的對話生成模型，如Hao Zhou提出的ECM模型、Xianda Zhou提出的Reinforced CVAE模型等，這些模型能夠指定回復的情感類別，從而生成帶有特定情感的回復。雖然上述方法為傳統的Seq2seq模型增加了情緒表達機制，但它們仍然需要人工指定輸出情感類別，并不能實現自動選取合適的回復情感。主要原因在于，這些模型并未考慮會話(Session)中上文的情感信息，無法獲取到有用信息來建模對話當中的情感交互的模式，因而也就無法根據上文場景建模以實現智能化生成帶有合理情感的回復。

發明內容

本發明要解決的技術問題在于針對現有技術中的缺陷，提供一種基于自注意力機制的情感對話生成方法與裝置。

本發明解決其技術問題所采用的技術方案是：一種基于自注意力機制的情感對話生成方法，包括以下步驟：

1)接收用戶Post的輸入語句，所述用戶輸入語句包括詞的特征向量表示序列X＝{x₁,x₂,……,x_n}，以及對應的情感標簽E_p；

2)根據接收語句的情感信息和語義信息，獲得回復情感E_r；

2.1)根據接收語句，將用戶輸入的序列的文字符號轉換為情感向量表示；

2.2)根據接收語句，將用戶輸入的序列的文字符號轉換為語義向量表示；

2.3)將上述語義向量和情感向量拼接后通過一個多層感知機，自動學習產生一個權值，并根據這個權值將h_e和h_s融合起來，輸出情感-語義信息融合后的句子向量h_es；

2.4)根據上述融合后的句子向量預測得到回復情感；

3)根據回復情感E_r和接收語句的語義信息，生成對應的回復。

按上述方案，所述步驟2.1)將用戶輸入的序列的文字符號轉換為情感向量表示，具體步驟如下：

2.1.1)將用戶輸入的序列的文字符號表示向量化，通過查詢預訓練的情感詞嵌入列表，得到每個文字符號的情感向量表示；

2.1.2)對情感詞嵌入層輸出的字符級別的情感向量表示按照序列順序進行GRU編碼，得到情感隱含層向量；

2.1.3)判斷輸入語句當中每個詞的情感重要性，根據情感重要性對情感隱含層向量賦予相應的權重，同時輸出所有隱含層向量加權求和后的整個句子的加權情感向量表示；