[發明專利]一種基于最大互信息的非自回歸對話說生成方法及模型

在審

• 申請號: 202010185621.7
• 申請日: 2020-03-17
• 公開（公告）號: CN111428014A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 韓慶宏;李紀為
• 申請（專利權）人: 北京香儂慧語科技有限責任公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/211;G06F40/216;G06F17/18
• 代理公司: 北京國科程知識產權代理事務所(普通合伙) 11862
• 代理人: 曹曉斐

本發明公開了一種基于最大互信息的非自回歸對話生成方法及模型，屬于機器對話技術領域。該基于最大互信息的非自回歸對話生成方法包括以下步驟：通過前項編碼器對輸入的第一上文語句進行編碼，得到第一上文語句的第一特征向量；通過前項解碼器將第一特征向量進行解碼得到上文語句的回復語句，并計算各個所述回復語句出現的第一概率；通過后向編碼器對回復進行編碼，得到第二特征向量；通過后向解碼器將第二特征向量進行解碼，得到回復語句的第二上文語句，并計算第二上文語句中出現所述第一上文語句的第二概率；計算第一概率與第二概率的和值，選取和值最大時所對應的回復語句。本發明利用非自回歸方法和最大互信息準則，達到對話生成過程中效率和效果上的平衡。

技術領域

本發明涉及機器對話技術領域，特別是一種基于最大互信息的非自回歸對話生成方法及模型。

背景技術

現有技術中，之前的對話生成大都使用“自回歸”的生成方式，所謂自回歸，就是在對話在生成過程中，對話內容一個詞接一個詞地生成，當前的詞基于之前生成的所有詞生成，進而組成一句話。當比如，要生成句子“I like cats”，自回歸的生成方式是：首先生成“I”，然后基于“I”生成“like”，最后基于“I like”生成“cats”。用概率表達就是：。很顯然，這種方法的缺點在于，當要生成的句子很長的時候，模型生成就特別慢，因為每次只能生成一個詞。這個缺點在對話生成上尤其突出。

非自回歸的生成方式就是一次生成多個、甚至全部詞，例如當生成“I like cats”語句時，可以一次性生成其中的三個詞，用概率表示為，其中每個詞的生成都不依賴于其他詞，可以獨立生成，即可以通過模型一次性全部生成出來。顯然，非自回歸的生成方式可以大大提高生成的效率，但是，非自回歸的生成方式具有缺點，生成的各詞之間沒有相關性，從而極有可能造成生成句子很差，無法滿足對話生成的準確性要求，比如就有可能生成“I I I”或“like like like”而不是正確語句“I likecats”。

發明內容

本發明主要解決的技術問題是提供一種基于最大互信息的非自回歸對話生成方法及模型機，加快對話生成時的速度，提高生成效率，并且提高對話生成時上文與下文的相關性，提高對話生成的準確率。

為了實現上述目的，本發明采用的第一個技術方案是：提供一種基于最大互信息的非自回歸對話生成方法，包括以下步驟：通過第一編碼器對輸入的上文語句進行編碼，得到第一上文語句的第一特征向量；通過第一解碼器將所述第一特征向量進行解碼得到上文語句的回復語句，并計算各個回復語句出現的第一概率；通過第二編碼器對回復語句進行編碼，得到第二特征向量；通過第二解碼器將第二特征向量進行解碼，得到回復語句的第二上文語句，并計算第二上文語句中出現所述第一上文語句的第二概率；計算第一概率與所述第二概率的和值，選取和值最大時所對應的回復語句。

為了實現上述目的，本發明采用的第二個技術方案是：提供一種基于最大互信息的非自回歸對話生成模型，包括：回復語句生成部分，其將輸入的第一上文語句通過第一編碼和第一解碼生成回復語句；上文語句生成部分，其將回復語句通過第二編碼和第二解碼生成第二上文語句；概率運算部分，計算第一上文語句生成每個回復語句的第一概率，計算回復語句生成的第二上文語句為第一上文語句的規律，并求解概率和值；回復語句提取部分，其對概率和值進行比較，選取最大概率和值對應的回復語句。

本發明的有益效果是：本發明應用時，使用非自回歸的對話生產方式，提高對話生成的效率，同時應用最大互信息進行對話生成相關性的把握，提高對話生成質量，達到效率和效果的平衡。

附圖說明

圖1是本發明的基于最大互信息的非自回歸對話生成方法流程圖示意圖；

圖2是本發明的基于最大互信息的非自回歸對話生成模型結構示意圖。

具體實施方式