[發(fā)明專利]對話模型的訓(xùn)練方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110348055.1
• 申請日: 2021-03-31
• 公開（公告）號: CN113239157B
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計(jì)）人: 黃信嫻;鮑思琪;何煌;王凡;吳華;何徑舟
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06V10/774;G06V10/764;G06K9/62;G06N20/00
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11412
• 代理人: 田宏賓

1.一種對話模型的訓(xùn)練方法，所述對話模型包括知識(shí)選擇模型和回復(fù)生成模型，所述方法包括：

采用所述知識(shí)選擇模型，處理對話樣本和知識(shí)庫，以確定與所述對話樣本匹配的知識(shí)，并確定所述知識(shí)對應(yīng)的第一概率，所述第一概率為所述知識(shí)被選中的概率；

采用所述回復(fù)生成模型，處理所述對話樣本和所述知識(shí)，以確定預(yù)測回復(fù)對應(yīng)的第二概率，所述第二概率為所述預(yù)測回復(fù)為回復(fù)樣本的概率；

基于所述第一概率和所述第二概率，確定邊際損失函數(shù)，并基于所述邊際損失函數(shù)訓(xùn)練所述知識(shí)選擇模型和所述回復(fù)生成模型。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述回復(fù)生成模型包括輸入層、隱層和輸出層，所述采用所述回復(fù)生成模型，處理所述對話樣本和所述知識(shí)，以確定預(yù)測回復(fù)對應(yīng)的第二概率，包括：

采用所述輸入層對所述對話樣本和所述知識(shí)信息處理，以得到輸入向量；

采用所述隱層對所述輸入向量進(jìn)行處理，以得到狀態(tài)向量；

采用所述輸出層對所述狀態(tài)向量進(jìn)行處理，以確定預(yù)測回復(fù)對應(yīng)的第二概率。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述輸入層包括：類型嵌入層，所述類型嵌入層的輸入包括互不相同的對話信息類型標(biāo)識(shí)、知識(shí)類型標(biāo)識(shí)和回復(fù)類型標(biāo)識(shí)。

4.根據(jù)權(quán)利要求2所述的方法，其中，所述隱層包括：自注意力模型，所述自注意力模型包括第一部分和第二部分，所述第一部分是對話樣本和知識(shí)對應(yīng)的部分，所述第二部分是已生成回復(fù)對應(yīng)的部分，所述第一部分采用雙向自注意力機(jī)制，所述第二部分采用單向自注意力機(jī)制。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其中，所述知識(shí)選擇模型包括編碼模型，所述匹配的知識(shí)從所述知識(shí)庫中確定，所述知識(shí)庫包括至少一個(gè)知識(shí)，所述采用所述知識(shí)選擇模型，處理對話樣本，以確定與所述對話樣本匹配的知識(shí)，包括：

采用所述編碼模型，將對話樣本編碼成對話向量，以及，將所述知識(shí)庫中各個(gè)知識(shí)分別編碼成知識(shí)向量；

確定所述對話向量與所述知識(shí)向量的內(nèi)積值；

按照所述內(nèi)積值從大到小的順序，選擇預(yù)設(shè)個(gè)數(shù)的知識(shí)，確定為與所述對話樣本匹配的知識(shí)。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述確定所述知識(shí)對應(yīng)的第一概率，包括：

對所述知識(shí)對應(yīng)的內(nèi)積值進(jìn)行歸一化處理，以得到歸一化值，將所述歸一化值確定為所述知識(shí)對應(yīng)的第一概率。

7.一種對話模型的訓(xùn)練裝置，所述對話模型包括知識(shí)選擇模型和回復(fù)生成模型，所述裝置包括：

知識(shí)選擇模塊，用于采用所述知識(shí)選擇模型，處理對話樣本和知識(shí)庫，以確定與所述對話樣本匹配的知識(shí)，并確定所述知識(shí)對應(yīng)的第一概率，所述第一概率為所述知識(shí)被選中的概率；

回復(fù)生成模塊，用于采用所述回復(fù)生成模型，處理所述對話樣本和所述知識(shí)，以確定預(yù)測回復(fù)對應(yīng)的第二概率，所述第二概率為所述預(yù)測回復(fù)為回復(fù)樣本的概率；

訓(xùn)練模塊，用于基于所述第一概率和所述第二概率，確定邊際損失函數(shù)，并基于所述邊際損失函數(shù)訓(xùn)練所述知識(shí)選擇模型和所述回復(fù)生成模型。

8.根據(jù)權(quán)利要求7所述的裝置，其中，所述回復(fù)生成模型包括輸入層、隱層和輸出層，所述回復(fù)生成模塊具體用于：

采用所述輸入層對所述對話樣本和所述知識(shí)信息處理，以得到輸入向量；

采用所述隱層對所述輸入向量進(jìn)行處理，以得到狀態(tài)向量；

采用所述輸出層對所述狀態(tài)向量進(jìn)行處理，以確定預(yù)測回復(fù)對應(yīng)的第二概率。

9.根據(jù)權(quán)利要求8所述的裝置，其中，所述輸入層包括：類型嵌入層，所述類型嵌入層的輸入包括互不相同的對話信息類型標(biāo)識(shí)、知識(shí)類型標(biāo)識(shí)和回復(fù)類型標(biāo)識(shí)。

10.根據(jù)權(quán)利要求8所述的裝置，其中，所述隱層包括：自注意力模型，所述自注意力模型包括第一部分和第二部分，所述第一部分是對話樣本和知識(shí)對應(yīng)的部分，所述第二部分是已生成回復(fù)對應(yīng)的部分，所述第一部分采用雙向自注意力機(jī)制，所述第二部分采用單向自注意力機(jī)制。