[發(fā)明專利]意圖識別模型訓練方法、識別方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111159845.1
• 申請日: 2021-09-30
• 公開（公告）號: CN113886548A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計）人: 胡超文
• 申請（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06K9/62
• 代理公司: 深圳眾鼎專利商標代理事務(wù)所(普通合伙) 44325
• 代理人: 譚果林

1.一種意圖識別模型訓練方法，其特征在于，包括：

獲取預(yù)設(shè)對話樣本數(shù)據(jù)集，所述預(yù)設(shè)對話樣本數(shù)據(jù)集中的對話樣本對應(yīng)一個意圖標簽鏈，所述意圖標簽鏈包括意圖級別依次細化的多個標準意圖標簽；

將所述對話樣本輸入含有初始參數(shù)的預(yù)設(shè)識別模型中，以通過所述預(yù)設(shè)識別模型對所述對話樣本進行意圖預(yù)測，得到意圖級別依次細化的多個意圖預(yù)測標簽；

根據(jù)所述多個意圖預(yù)測標簽和所述多個標準意圖標簽，確定所述預(yù)設(shè)識別模型的總損失值；

在所述總損失值未達到預(yù)設(shè)收斂條件時，迭代更新所述預(yù)設(shè)識別模型的初始參數(shù)，直至所述總損失值達到所述預(yù)設(shè)收斂條件時，將收斂之后的所述預(yù)設(shè)識別模型記錄為意圖識別模型。

2.如權(quán)利要求1所述的意圖識別模型訓練方法，其特征在于，所述將所述對話樣本輸入含有初始參數(shù)的預(yù)設(shè)識別模型中，以通過所述預(yù)設(shè)識別模型對所述對話樣本進行意圖預(yù)測，得到意圖級別依次細化的多個意圖預(yù)測標簽，包括：

將所述對話樣本輸入所述預(yù)設(shè)識別模型的輸入層，以獲得所述輸入層輸出的所述對話樣本的上下文語義向量；

將所述上下文語義向量輸入所述預(yù)設(shè)識別模型的特征提取模塊，以獲得所述特征提取模塊輸出的多個拼接特征向量序列，所述多個拼接特征向量序列的特征向量依次增加；

將所述拼接特征向量序列輸入所述預(yù)設(shè)識別模型中對應(yīng)的多層感知機，以使所述多層感知機對所述拼接特征向量序列進行意圖預(yù)測；

獲取多個所述多層感知機輸出的意圖預(yù)測標簽，作為所述多個意圖預(yù)測標簽。

3.如權(quán)利要求2所述的意圖識別模型訓練方法，其特征在于，所述將所述上下文語義向量輸入所述預(yù)設(shè)識別模型的特征提取模塊，以獲得所述特征提取模塊輸出的多個拼接特征向量序列，包括：

將所述上下文語義向量輸入所述特征提取模塊，以獲取所述特征提取模塊中多個特征提取層對應(yīng)輸出的語義特征向量，所述特征提取模塊由所述多個特征提取層依次堆疊形成，所述特征提取層輸出的特征向量為下一特征提取層的輸入；

根據(jù)所述多個特征提取層的排列順序，對所述多個特征提取層對應(yīng)輸出的語義特征向量進行劃分組合，以獲得所述多個拼接特征向量序列。

4.如權(quán)利要求3所述的意圖識別模型訓練方法，其特征在于，所述將所述上下文語義向量輸入所述特征提取模塊，以使所述特征提取模塊的多個特征提取層對應(yīng)輸出語義特征向量，包括：

在所述對話樣本的上下文語義向量中，確定坐席文本樣本的第一語義向量和客戶文本樣本的第二語義向量；

將所述第一語義向量和所述第二語義向量輸入第一個特征提取層，以使所述第一個特征提取層對所述第一語義向量和所述第二語義向量進行特征提取，并對提取到的特征向量進行語義關(guān)系捕獲，以獲得所述第一個特征提取層輸出的語義特征向量；

將所述第一個特征提取層提取到的特征向量輸入下一特征提取層，以使下一特征提取層對輸入的特征向量進行特征提取，并對提取到的特征向量進行語義關(guān)系捕獲，以獲得下一特征提取層輸出的語義特征向量；

依次遍歷所有的特征提取層，以獲得多個所述特征提取層對應(yīng)輸出的語義特征向量。

5.如權(quán)利要求4所述的意圖識別模型訓練方法，其特征在于，所述將所述第一語義向量和所述第二語義向量輸入第一個特征提取層，以使所述第一個特征提取層對所述第一語義向量和所述第二語義向量進行特征提取，并對提取到的特征向量進行語義關(guān)系捕獲，以獲得所述第一個特征提取層輸出的語義特征向量，包括：

將所述第一語義向量輸入所述第一個特征提取層的第一編碼器，以獲得所述第一編碼器輸出的第一特征向量；

將所述第二語義向量輸入所述第一個特征提取層的第二編碼器，以獲得所述第二編碼器輸出的第二特征向量；

將所述第一特征向量和所述第二特征向量，輸入所述第一個特征提取層的雙向注意力模塊，以使所述雙向注意力模塊對所述第一特征向量和所述第二特征向量進行語義關(guān)系捕獲，并輸出所述語義特征向量。