[發(fā)明專利]一種基于最大互信息的非自回歸對話說生成方法及模型

在審

• 申請?zhí)枺?/td>: 202010185621.7
• 申請日: 2020-03-17
• 公開（公告）號: CN111428014A
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 韓慶宏;李紀(jì)為
• 申請（專利權(quán)）人: 北京香儂慧語科技有限責(zé)任公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/211;G06F40/216;G06F17/18
• 代理公司: 北京國科程知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11862
• 代理人: 曹曉斐

1.一種基于最大互信息的非自回歸對話生成方法，其特征在于，包括以下步驟：

通過第一編碼器對輸入的第一上文語句進(jìn)行編碼，得到所述第一上文語句的第一特征向量；

通過第一解碼器將所述第一特征向量進(jìn)行解碼得到所述上文語句的回復(fù)語句，并計(jì)算各個(gè)所述回復(fù)語句出現(xiàn)的第一概率；

通過第二編碼器對所述回復(fù)進(jìn)行編碼，得到第二特征向量；

通過第二解碼器將所述第二特征向量進(jìn)行解碼，得到所述回復(fù)語句的第二上文語句，并計(jì)算所述第二上文語句中出現(xiàn)所述第一上文語句的第二概率；

計(jì)算所述第一概率與所述第二概率的和值，選取所述和值最大時(shí)所對應(yīng)的一個(gè)回復(fù)語句。

2.如權(quán)利要求1所述的基于最大互信息的非自回歸對話生成方法，其中，使用所述第一解碼器生成所述回復(fù)語句過程中，所述回復(fù)語句中的每個(gè)字同步一次性生成。

3.如權(quán)利要求1所述的基于最大互信息的非自回歸對話生成方法，其中在求解所述第一概率預(yù)所述第二概率的和值時(shí)，分別對所述第一概率和所述第二概率進(jìn)行對數(shù)化。

4.如權(quán)利要求1所述的基于最大互信息的非自回歸對話生成方法，其中所述第一編碼器為前向編碼器，所述第一解碼器為前向解碼器，所述第二編碼器為后向編碼器，所述第二解碼器為后向解碼器。

5.一種基于最大互信息的非自回歸對話生成模型，其特征在于，包括：

回復(fù)語句生成模塊，其將輸入的第一上文語句通過第一編碼和第一解碼生成回復(fù)語句，并計(jì)算所述第一上文語句生成每個(gè)回復(fù)語句的第一概率；

上文語句生成模塊，其將所述回復(fù)語句通過第二編碼和第二解碼生成第二上文語句，并計(jì)算所述回復(fù)語句生成所述的第二上文語句為所述第一上文語句的第二概率；以及

回復(fù)語句提取部分，其對所述第一概率與第二年概率進(jìn)行求和，并選取最大概率和值對應(yīng)的一個(gè)所述回復(fù)語句。

6.如權(quán)利要求5所述的基于最大互信息的非自回歸對話生成模型，其中所述上文語句生成部分使用前向編碼器進(jìn)行所述第一編碼，使用前向解碼器進(jìn)行所述第一解碼。

7.如權(quán)利要求5所述的基于最大互信息的非自回歸對話生成模型，其中所述上文語句生成部分中使用非自回歸方法生成所述回復(fù)語句，所述回復(fù)語句中的每個(gè)字同步一次性生成。

8.如權(quán)利要求5所述的基于最大互信息的非自回歸對話生成模型，其中所述回復(fù)語句生成部分使用后向編碼器進(jìn)行所述第二編碼，使用后向解碼器進(jìn)行所述第二解碼。

9.如權(quán)利要求5所述的基于最大互信息的非自回歸對話生成模型，其中所述概率運(yùn)算部分中，對所述第一概率和所述第二概率分別對數(shù)化再求和值。