[發明專利]人機對話模型訓練方法、人機對話方法及系統

有效

• 申請號: 202010195133.4
• 申請日: 2020-03-19
• 公開（公告）號: CN111324736B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 朱欽佩
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/332
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

1.一種人機對話模型訓練方法，所述人機對話模型包括編碼器和解碼器，所述方法包括：

預先構建訓練樣本集，所述訓練樣本集至少基于有效問題-答案對子集和無效問題-答案對子集構成；

采用所述訓練樣本集對所述編碼器進行預訓練得到初始編碼器；

采用所述訓練樣本集對所述初始編碼器和所述解碼器進行聯合訓練，

其中，所述預先構建訓練樣本集包括：為所述有效問題-答案對子集中的有效問題配置有效問句編碼；

將所述無效問題-答案對子集中的無效問題劃分為多種類型，并且相應的配置多個無效問句編碼；

根據預設詞典對所述有效問題-答案對子集中的有效問題和相應答案進行編碼；

根據預設詞典對所述無效問題-答案對子集中的無效問題和相應答案進行編碼，以及

其中，所述采用所述訓練樣本集對所述編碼器進行預訓練得到初始編碼器包括：

將所述訓練樣本集中的訓練樣本輸入至所述編碼器；

至少將所述編碼器的隱藏層的輸出作為第一分類層的輸入進行分類，并基于第一交叉熵損失函數訓練得到初始編碼器。

2.根據權利要求1所述的方法，其中，所述無效問題-答案對子集中的答案采用多種預定字符串表示，所述多種預定字符串的種類與所述無效問句編碼的數量相當；

所述預設詞典中包括多個功能碼和無效問句標識，所述多個功能碼和所述無效問句標識各自配置有設定編號。

3.根據權利要求2所述的方法，其中，所述多個功能碼包括開始功能碼、結束功能碼、對齊功能碼和替換功能碼；

所述根據預設詞典對所述有效問題-答案對子集中的有效問題和相應答案進行編碼包括：

采用所述多個功能碼對所述有效問題-答案對子集中的有效問題和相應答案進行對齊預處理；

采用所述預設詞典對預處理之后的有效問題和相應答案進行編碼；

所述根據預設詞典對所述無效問題-答案對子集中的無效問題和相應答案進行編碼包括：

采用所述多個功能碼對所述無效問題-答案對子集中的無效問題和相應答案進行對齊預處理；

采用所述預設詞典對預處理之后的無效問題和相應答案進行編碼。

4.根據權利要求3所述的方法，其中，所述至少將所述編碼器的隱藏層的輸出作為第一分類層的輸入進行分類，并基于交叉熵損失函數訓練得到初始編碼器包括：

將所述開始功能碼和所述結束功能碼所對應的隱藏層輸出進行拼接；

將拼接結果輸入至第一分類層得到第一分類結果；

基于所述第一分類結果以第一交叉熵損失函數為目標來訓練得到所述初始編碼器。

5.根據權利要求4所述的方法，其中，所述采用所述訓練樣本集對所述初始編碼器和所述解碼器進行聯合訓練包括：

將所述訓練樣本集中的訓練樣本輸入至所述初始編碼器；

將所述解碼器的輸出輸入至第二分類層得到第二分類結果；

確定對應于所述第二分類結果第二交叉熵損失函數；

以所述第一交叉熵損失函數和所述第二交叉熵損失函數為目標函數進行聯合訓練。

6.一種人機對話方法，包括：

接收用戶輸入語句；

基于采用權利要求1-5中任一項所述的方法訓練得到的人機對話模型生成對應于所述用戶輸入語句的回復語句。

7.一種人機對話系統，包括采用權利要求1-5中任一項所述的方法訓練得到的人機對話模型。

8.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求6所述方法的步驟。

9.一種存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求6所述方法的步驟。