[發明專利]基于信息增強的多輪對話生成方法和系統

在審

• 申請號: 202210032590.0
• 申請日: 2022-01-12
• 公開（公告）號: CN114357976A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 孫曉;王佳敏;陳倩;汪萌
• 申請（專利權）人: 合肥工業大學;合肥綜合性國家科學中心人工智能研究院（安徽省人工智能實驗室）
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/35;G06N3/04;G06N3/08
• 代理公司: 北京久誠知識產權代理事務所(特殊普通合伙) 11542
• 代理人: 余罡

本發明提供一種基于信息增強的多輪對話生成方法和系統，涉及多輪對話生成技術領域。本發明通過預先構建的多輪對話模型生成回復，所述多輪對話模型包括多維單詞級別編碼器、話語級別編碼器和解碼器，生成回復的過程包括：獲取多輪對話歷史信息，并對所述多輪對話歷史信息進行預處理；預處理后的多輪對話歷史信息經過基于多信息嵌入機制的多維單詞級別編碼器，得到句向量；將所述句向量輸入到話語級別編碼器，得到話語級編碼向量；對所述話語級編碼向量通過解碼器進行解碼，生成回復。本發明通過多信息嵌入機制，全面的捕捉上下文信息，生成更相關的上下文信息生成回復。

技術領域

本發明涉及多輪對話生成技術領域，具體涉及一種基于信息增強的多輪對話生成方法、系統、存儲介質和電子設備。

背景技術

現有的多輪對話生成方法大多基于層次序列到序列模型框架實現，具體可以歸納為基于RNN的層次模型，和基于Transformer的層次模型。基于RNN的層次模型通常通過注意力機制或者相似度來篩選上下文信息，但是RNN存在位置偏差問題，通常更關注近距離的上下文，無法更好地學習對話中上下文信息之間長期依賴關系，生成的對話缺乏連貫性。基于Transformer的層次模型，由于多頭注意力機制的引入可以很好地捕捉對話中上下文信息的長期依賴信息。但是研究表明，Transformer結構它不能高效地捕捉序列中局部結構，且過度依賴于位置嵌入機制，會忽略語句中包含的局部信息。

通過上述描述可知，現有的多輪對話生成方法不能全面的捕捉上下文信息，導致生成的回復連貫性較差。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種基于信息增強的多輪對話生成方法、系統、存儲介質和電子設備，解決了現有的多輪對話生成方法不能全面的捕捉上下文信息的技術問題。

(二)技術方案

為實現以上目的，本發明通過以下技術方案予以實現：

第一方面，本發明提供一種基于信息增強的多輪對話生成方法，所述方法通過預先構建的多輪對話模型生成回復，所述多輪對話模型包括多維單詞級別編碼器、話語級別編碼器和解碼器，生成回復的過程包括：

S1、獲取多輪對話歷史信息，并對所述多輪對話歷史信息進行預處理；

S2、預處理后的多輪對話歷史信息經過基于多信息嵌入機制的多維單詞級別編碼器，得到句向量；

S3、將所述句向量輸入到話語級別編碼器，得到話語級編碼向量；

S4、對所述話語級編碼向量通過解碼器進行解碼，生成回復。

優選的，所述多維單詞級別編碼器包括：

多維單詞級別編碼器包括多頭注意力機制和前向反饋網絡。

優選的，所述多信息嵌入機制包括多信息嵌入機制包含句法特征嵌入和局部特征嵌入。

優選的，所述句法特征嵌入包括：

將單詞序列經過StanfordNlp提供的依存句法分析后，組織成包含句法信息的依存句法鏈表由一個參數共享的循環神經網絡獨立且相同地處理，選擇最后隱藏狀態作為依存句法序列的特征向量，公式如下：

其中，x_i,m是第i個句子里第m個單詞，listx_i,m為單詞x_i,m的依存句法序列，x_i,j是第i個句子里第j個單詞，listx_i,j為單詞x_i,j的依存句法序列。

優選的，所述局部特征嵌入包括：

設定局部特征嵌入的窗口大小為M；