[發(fā)明專利]對話模型的訓(xùn)練方法、訓(xùn)練裝置、對話方法及對話系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711077109.5
• 申請日: 2017-11-06
• 公開（公告）號: CN107766559B
• 公開（公告）日: 2019-12-13
• 發(fā)明（設(shè)計）人: 戴文淵;楊強(qiáng);陳雨強(qiáng);李可;邢少敏
• 申請（專利權(quán)）人: 第四范式(北京)技術(shù)有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06K9/62
• 代理公司: 11452 北京展翼知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙)
• 代理人: 屠長存

1.一種對話模型的訓(xùn)練方法，包括：

總誤差構(gòu)建步驟，構(gòu)建同時包含自然語言理解模型的第一誤差和策略生成模型的第二誤差的總誤差函數(shù)；

聯(lián)合訓(xùn)練步驟，以使所述總誤差函數(shù)減小為目標(biāo)，使用語料樣本對所述自然語言理解模型和所述策略生成模型進(jìn)行聯(lián)合訓(xùn)練，其中，所述自然語言理解模型的輸入為對話語句，輸出為對所述對話語句進(jìn)行解析得到的內(nèi)部表示，所述策略生成模型的輸入至少包括所述自然語言理解模型的輸出，所述策略生成模型的輸出為針對所述對話語句作出的動作，所述動作用于表征對所述對話語句作出的回復(fù)的內(nèi)部表示。

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，所述自然語言理解模型為序列標(biāo)注模型，

所述序列標(biāo)注模型的輸入為所述對話語句的詞序列，

所述序列標(biāo)注模型的輸出為所述詞序列對應(yīng)的槽位和所述詞序列表示的意圖信息。

3.根據(jù)權(quán)利要求2所述的訓(xùn)練方法，其中，所述序列標(biāo)注模型包括：底層LSTM和上層LSTM，

所述底層LSTM的輸入為所述詞序列中按順序依次輸入的各個詞，所述底層LSTM用于基于對上一次輸入的詞進(jìn)行處理后得到的隱藏層狀態(tài)向量對本次輸入的詞進(jìn)行處理，以得到本次輸入的詞的隱藏層狀態(tài)向量，將得到的本次輸入的詞的隱藏層狀態(tài)向量傳遞給所述上層LSTM，并且將對最后一個輸入的詞進(jìn)行處理后得到的隱藏層狀態(tài)向量輸入到第一分類器，以得到所述詞序列的意圖信息；

所述上層LSTM用于基于對接收到的上一次輸入的詞的隱藏層狀態(tài)向量進(jìn)行處理后得到的輸出，對接收到的本次輸入的詞的隱藏層狀態(tài)向量進(jìn)行處理，并將處理后得到的輸出輸入到第二分類器，以得到所述詞序列中的每個詞對應(yīng)的槽位。

4.根據(jù)權(quán)利要求2所述的訓(xùn)練方法，其中，所述自然語言理解模型的第一誤差包括：槽填充誤差和意圖識別誤差，

所述槽填充誤差與所述語料樣本的規(guī)模、針對所述語料樣本中每個訓(xùn)練樣本使用所述自然語言理解模型得到的槽位和標(biāo)準(zhǔn)槽位之間的誤差相關(guān)，

所述意圖識別誤差與所述語料樣本的規(guī)模、針對所述語料樣本中每個訓(xùn)練樣本使用所述自然語言理解模型得到的意圖信息和標(biāo)準(zhǔn)意圖信息之間的誤差相關(guān)。

5.根據(jù)權(quán)利要求4所述的訓(xùn)練方法，其中，

所述意圖識別誤差為并且/或者

所述槽填充誤差為

其中，L_intent表示意圖識別誤差，D表示語料樣本的規(guī)模，i為訓(xùn)練樣本的序號，是針對第i個訓(xùn)練樣本使用所述自然語言理解模型得到的意圖信息，y⁽ⁱ⁾是第i個訓(xùn)練樣本的標(biāo)準(zhǔn)意圖信息，表示針對第i個訓(xùn)練樣本使用自然語言理解模型得到的意圖信息和標(biāo)準(zhǔn)意圖信息之間的誤差，

L_tag表示槽填充誤差，T_i表示第i個訓(xùn)練樣本中的詞序列所包含的詞個數(shù)，t表示詞序列中第t個詞，是針對第i個訓(xùn)練樣本中的詞序列中第t個詞使用所述自然語言理解模型得到的槽位，z_t⁽ⁱ⁾是第i個訓(xùn)練樣本中的詞序列中第t個詞的標(biāo)準(zhǔn)槽位，表示針對第i個訓(xùn)練樣本中的詞序列中第t個詞使用所述自然語言理解模型得到的槽位和標(biāo)準(zhǔn)槽位之間的誤差。

6.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，針對當(dāng)前輪次的對話語句，所述策略生成模型的輸入包括：

所述自然語言理解模型針對當(dāng)前輪次的對話語句的輸出；和

所述策略生成模型針對上一輪次的對話語句輸出的動作和/或當(dāng)前輪次信息。

7.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，所述策略生成模型為馬爾科夫決策模型，

所述策略生成模型以使得輸出的動作得到的回報值盡可能多為目標(biāo)，求取針對所述對話語句作出的動作，其中，所述回報值包括針對當(dāng)前系統(tǒng)狀態(tài)采取動作得到的立即回報和長期回報。