[發(fā)明專利]智能人機(jī)對(duì)話模型訓(xùn)練方法、模型訓(xùn)練裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010187709.2
• 申請(qǐng)日: 2020-03-17
• 公開（公告）號(hào): CN111460115B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 馬力;熊為星;龐建新;熊友軍
• 申請(qǐng)（專利權(quán)）人: 深圳市優(yōu)必選科技股份有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/33;G06N3/045;G06N3/0442;G06N3/0455;G06N3/047;G06N3/048;G06N3/084
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 劉永康

1.一種智能人機(jī)對(duì)話模型訓(xùn)練方法，其特征在于，包括：

獲取當(dāng)前輪次的用戶語(yǔ)句及前一輪次的系統(tǒng)語(yǔ)句；

將所述用戶語(yǔ)句及所述系統(tǒng)語(yǔ)句拼接并輸入至BERT模型中，得到當(dāng)前對(duì)話矩陣；

將所述當(dāng)前對(duì)話矩陣輸入至待訓(xùn)練的第一雙向GRU模型中，得到會(huì)話語(yǔ)義向量，其中，所述會(huì)話語(yǔ)義向量基于所述第一雙向GRU模型在第一方向上的第一輸出結(jié)果及第二方向上的第二輸出結(jié)果拼接而得，所述第一雙向GRU模型的初始隱藏層基于其它語(yǔ)句而構(gòu)建，所述其它語(yǔ)句為除所述系統(tǒng)語(yǔ)句之外的歷史輪次的語(yǔ)句；

對(duì)所述會(huì)話語(yǔ)義向量進(jìn)行第一線性變換得到意圖向量，并對(duì)所述會(huì)話語(yǔ)義向量進(jìn)行第二線性變換得到對(duì)話行為向量；

根據(jù)所述意圖向量計(jì)算得到意圖損失，并根據(jù)所述對(duì)話行為向量計(jì)算得到對(duì)話行為損失；

基于所述意圖損失及所述對(duì)話行為損失進(jìn)行反向傳播，對(duì)各個(gè)待訓(xùn)練的模型的模型參數(shù)進(jìn)行更新；

其中，所述將所述當(dāng)前對(duì)話矩陣輸入至待訓(xùn)練的第一雙向GRU模型中，得到會(huì)話語(yǔ)義向量，包括：

在將所述當(dāng)前對(duì)話矩陣輸入至所述第一雙向GRU模型之后，將所述第一雙向GRU模型在所述第一方向上的最末隱藏層的輸出作為第一輸出結(jié)果；

將所述第一雙向GRU模型在所述第二方向上的最末隱藏層的輸出作為第二輸出結(jié)果；

對(duì)所述第一輸出結(jié)果及所述第二輸出結(jié)果進(jìn)行拼接，得到所述會(huì)話語(yǔ)義向量；

其中，所述對(duì)所述會(huì)話語(yǔ)義向量進(jìn)行第一線性變換得到意圖向量，包括：

根據(jù)預(yù)設(shè)的第一參數(shù)矩陣對(duì)所述會(huì)話語(yǔ)義向量進(jìn)行線性變換，得到第一中間向量，其中，所述第一參數(shù)矩陣的矩陣行數(shù)根據(jù)所述會(huì)話語(yǔ)義向量的維度而確定，所述第一參數(shù)矩陣的矩陣列數(shù)根據(jù)預(yù)設(shè)的意圖類別的總數(shù)而確定，所述第一中間向量的維度為所述意圖類別的總數(shù)；

基于預(yù)設(shè)的第一激活函數(shù)對(duì)所述第一中間向量進(jìn)行變換，得到意圖向量，其中，所述意圖向量中的各個(gè)維度用于表示所述用戶語(yǔ)句屬于各個(gè)意圖類別的概率；

其中，所述對(duì)所述會(huì)話語(yǔ)義向量進(jìn)行第二線性變換得到對(duì)話行為向量，包括：

根據(jù)預(yù)設(shè)的第二參數(shù)矩陣對(duì)所述會(huì)話語(yǔ)義向量進(jìn)行線性變換，得到第二中間向量，其中，所述第二參數(shù)矩陣的矩陣行數(shù)根據(jù)所述會(huì)話語(yǔ)義向量的維度而確定，所述第二參數(shù)矩陣的矩陣列數(shù)根據(jù)預(yù)設(shè)的對(duì)話行為類別的總數(shù)而確定，所述第二中間向量的維度為所述對(duì)話行為類別的總數(shù)；

基于預(yù)設(shè)的第二激活函數(shù)對(duì)所述第二中間向量進(jìn)行變換，得到對(duì)話行為向量，其中，所述意圖向量中的各個(gè)維度用于表示所述用戶語(yǔ)句命中各個(gè)對(duì)話行為類別的得分。

2.如權(quán)利要求1所述的智能人機(jī)對(duì)話模型訓(xùn)練方法，其特征在于，所述智能人機(jī)對(duì)話模型訓(xùn)練方法還包括：

分別獲取各個(gè)其它語(yǔ)句的語(yǔ)句向量，其中，所述語(yǔ)句向量為語(yǔ)句的語(yǔ)義表征；

將各個(gè)語(yǔ)句向量輸入至待訓(xùn)練的單向GRU模型中；

將所述單向GRU模型的最末隱藏層所輸出的向量作為記憶編碼向量；

基于所述記憶編碼向量構(gòu)建所述第一雙向GRU模型的初始隱藏層。

3.如權(quán)利要求2所述的智能人機(jī)對(duì)話模型訓(xùn)練方法，其特征在于，所述分別獲取各個(gè)其它語(yǔ)句的語(yǔ)句向量，包括：

對(duì)目標(biāo)其它語(yǔ)句進(jìn)行按字切分處理，得到切分后的序列，其中，所述目標(biāo)其它語(yǔ)句為所述其它語(yǔ)句中的任一語(yǔ)句；

將切分后的序列輸入至所述BERT模型中，得到所述目標(biāo)其它語(yǔ)句的語(yǔ)句矩陣；

將所述語(yǔ)句矩陣輸入至待訓(xùn)練的第二雙向GRU模型中，得到所述目標(biāo)其它語(yǔ)句的語(yǔ)句向量，其中，所述目標(biāo)其它語(yǔ)句的語(yǔ)句向量基于所述第二雙向GRU模型在第三方向上的第三輸出結(jié)果及第四方向上的第四輸出結(jié)果拼接而得。

4.如權(quán)利要求3所述的智能人機(jī)對(duì)話模型訓(xùn)練方法，其特征在于，所述將所述語(yǔ)句矩陣輸入至待訓(xùn)練的第二雙向GRU模型中，得到所述目標(biāo)其它語(yǔ)句的語(yǔ)句向量，包括：

在將所述語(yǔ)句矩陣輸入至所述第二雙向GRU模型之后，將所述第二雙向GRU模型在所述第三方向上的最末隱藏層的輸出作為第三輸出結(jié)果；

將所述第二雙向GRU模型在所述第四方向上的最末隱藏層的輸出作為第四輸出結(jié)果；

對(duì)所述第三輸出結(jié)果及所述第四輸出結(jié)果進(jìn)行拼接，得到所述目標(biāo)其它語(yǔ)句的語(yǔ)句向量。