[發(fā)明專利]基于信息增強(qiáng)的多輪對話生成方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210032590.0
• 申請日: 2022-01-12
• 公開（公告）號: CN114357976A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 孫曉;王佳敏;陳倩;汪萌
• 申請（專利權(quán)）人: 合肥工業(yè)大學(xué);合肥綜合性國家科學(xué)中心人工智能研究院（安徽省人工智能實(shí)驗(yàn)室）
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/35;G06N3/04;G06N3/08
• 代理公司: 北京久誠知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11542
• 代理人: 余罡

1.一種基于信息增強(qiáng)的多輪對話生成方法，其特征在于，所述方法通過預(yù)先構(gòu)建的多輪對話模型生成回復(fù)，所述多輪對話模型包括多維單詞級別編碼器、話語級別編碼器和解碼器，生成回復(fù)的過程包括：

S1、獲取多輪對話歷史信息，并對所述多輪對話歷史信息進(jìn)行預(yù)處理；

S2、預(yù)處理后的多輪對話歷史信息經(jīng)過基于多信息嵌入機(jī)制的多維單詞級別編碼器，得到句向量；

S3、將所述句向量輸入到話語級別編碼器，得到話語級編碼向量；

S4、對所述話語級編碼向量通過解碼器進(jìn)行解碼，生成回復(fù)。

2.如權(quán)利要求1所述的基于信息增強(qiáng)的多輪對話生成方法，其特征在于，所述多維單詞級別編碼器包括：

多維單詞級別編碼器包括多頭注意力機(jī)制和前向反饋網(wǎng)絡(luò)。

3.如權(quán)利要求1所述的基于信息增強(qiáng)的多輪對話生成方法，其特征在于，所述多信息嵌入機(jī)制包括多信息嵌入機(jī)制包含句法特征嵌入和局部特征嵌入。

4.如權(quán)利要求3所述的基于信息增強(qiáng)的多輪對話生成方法，其特征在于，所述句法特征嵌入包括：

將單詞序列經(jīng)過StanfordNlp提供的依存句法分析后，組織成包含句法信息的依存句法鏈表由一個參數(shù)共享的循環(huán)神經(jīng)網(wǎng)絡(luò)獨(dú)立且相同地處理，選擇最后隱藏狀態(tài)作為依存句法序列的特征向量，公式如下：

其中，x_i,m是第i個句子里第m個單詞，listx_i,m為單詞x_i,m的依存句法序列，x_i,j是第i個句子里第j個單詞，listx_i,j為單詞x_i,j的依存句法序列。

5.如權(quán)利要求3所述的基于信息增強(qiáng)的多輪對話生成方法，其特征在于，所述局部特征嵌入包括：

設(shè)定局部特征嵌入的窗口大小為M；

將原始的句子序列處理為大量的包含局部位置信息的短序列，短序列通過另一個參數(shù)共享的循環(huán)神經(jīng)網(wǎng)絡(luò)編碼每個單詞的局部依賴關(guān)系，生成M個隱藏狀態(tài)表示，選擇最后的隱藏狀態(tài)作為局部序列的特征表示，公式如下：

6.如權(quán)利要求1～5任一所述的基于信息增強(qiáng)的多輪對話生成方法，其特征在于，所述S3具體包括：

經(jīng)過單詞級別編碼器編碼得到對話歷史的多個句向量，多個句向量組成向量序列對句向量進(jìn)行位置嵌入得到如下：

其中：t指的是對話歷史的向量序列中第t個句向量，取值范圍是[0,n)，d_model指的是句向量的維度，i指的是句向量的維度序號，取值范圍是

將對話歷史包含的全部句向量都進(jìn)行位置嵌入，位置嵌入表示用P^utt表示；

將句向量和對應(yīng)的位置嵌入相加后依次輸入多頭注意力機(jī)制和前向反饋網(wǎng)絡(luò)去更新上下文表示，得到話語級編碼向量，公式如下：

H^con＝FNN(MultiHead(H^utt+P^utt,H^utt+P^utt,H^utt+P^utt))。

7.如權(quán)利要求1～5任一所述的基于信息增強(qiáng)的多輪對話生成方法，其特征在于，所述預(yù)先構(gòu)建的多輪對話模型在訓(xùn)練過程中通過最小化生成回復(fù)與參考回復(fù)之間的負(fù)極大似然概率進(jìn)行學(xué)習(xí)，

其中：Y為生成回復(fù)，C為參考回復(fù)。