[發明專利]模型訓練方法及人機交互方法、裝置

有效

• 申請號: 202210113215.9
• 申請日: 2022-01-26
• 公開（公告）號: CN114444462B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 張紅陽;焦振宇;孫叔琦;常月;李婷婷
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/186
• 分類號: G06F40/186;G06F40/35;G06K9/62;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 杜月

1.一種模型訓練方法，包括：

獲取模板對應的樣本集；

基于所述樣本集，構造對比學習任務的正例對和負例對；

基于所述對比學習任務的正例對和負例對，對預訓練模型進行對比學習訓練；

其中，所述模板為包括一個模板片段的有序模板，所述模板片段包括多個關鍵詞；所述獲取模板對應的樣本集，包括：

基于所述模板片段中的多個關鍵詞各自的詞表中的詞表值，采用集束搜索方法，生成所述模板對應的樣本候選集；

對所述樣本候選集進行模板匹配校驗，將校驗通過的目標樣本集作為所述模板對應的樣本集。

2.根據權利要求1所述的方法，其中，所述模板為包括多個模板片段的無序模板，所述模板片段包括一個或多個關鍵詞；所述獲取模板對應的樣本集，包括：

針對所述多個模板片段中的每個模板片段，生成所述每個模板片段對應的候選集；

基于預設組織格式，從所述多個模板片段各自的候選集中選取候選值組成多個目標序列；其中，所述預設組織格式通過所述無序模板的第一屬性確定，所述第一屬性為模板片段順序；

將所述多個目標序列輸入生成式的預訓練模型，生成所述無序模板對應的樣本候選集；

對所述樣本候選集進行模板匹配校驗，將校驗通過的目標樣本集作為所述模板對應的樣本集。

3.根據權利要求1所述的方法，其中，所述獲取模板對應的樣本集，包括：

獲取目標領域的歷史數據；

基于所述歷史數據，獲取與所述模板匹配的樣本集。

4.根據權利要求1所述的方法，其中，所述基于所述樣本集，構造對比學習任務的正例對和負例對，包括：

針對不同場景的模板之間的對比學習任務，將所述樣本集中屬于相同場景的模板的多個樣本構成多個正例對，以及將不屬于相同場景的模板的多個樣本構成多個負例對；

針對相同場景不同意圖的模板之間的對比學習任務，將所述樣本集中屬于相同場景相同意圖的模板的多個樣本構成多個正例對，以及將屬于相同場景不同意圖的模板的多個樣本構成多個負例對；

針對相同意圖的不同模板之間的對比學習任務，將所述樣本集中屬于相同意圖的同一模板的多個樣本構成多個正例對，以及將屬于相同意圖不同模板的多個樣本構成多個負例對。

5.根據權利要求1所述的方法，其中，所述基于所述對比學習任務的正例對和負例對，對預訓練模型進行對比學習訓練，包括：

從所述對比學習任務的正例對和負例對之中抽取多個樣本對；

將所述多個樣本對輸入所述預訓練模型，得到多個樣本各自的語義表示；

將所述多個樣本各自的語義表示映射到對比學習損失空間，并獲取所述多個樣本中任意兩個樣本的相似度；

基于所述相似度，獲取所述多個樣本各自的損失，并基于所述損失對所述預訓練模型的參數進行調整。

6.一種人機交互方法，包括：

獲取用戶輸入內容；

將所述用戶輸入內容輸入預先訓練好的預訓練模型，得到所述用戶輸入內容的意圖和詞槽；其中，所述預先訓練好的預訓練模型為采用權利要求1－5 任一所述的模型訓練方法訓練得到的；

根據所述意圖和詞槽，獲取系統反饋。

7.一種模型訓練裝置，包括：

樣本獲取模塊，用于獲取模板對應的樣本集；

任務構造模塊，用于基于所述樣本集，構造對比學習任務的正例對和負例對；

模型訓練模塊，用于基于所述對比學習任務的正例對和負例對，對預訓練模型進行對比學習訓練；

其中，所述模板為包括一個模板片段的有序模板，所述模板片段包括多個關鍵詞；所述樣本獲取模塊，具體用于：

基于所述模板片段中的多個關鍵詞各自的詞表中的詞表值，采用集束搜索方法，生成所述模板對應的樣本候選集；

對所述樣本候選集進行模板匹配校驗，將校驗通過的目標樣本集作為所述模板對應的樣本集。