[發明專利]一種意圖理解模型訓練方法及裝置、意圖理解方法及裝置

在審

• 申請號: 202011500085.1
• 申請日: 2020-12-17
• 公開（公告）號: CN112528679A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 尹坤;劉權;陳志剛;王智國;胡國平
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F16/35;G06F40/42;G06F3/16
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 馮柳偉

1.一種意圖理解模型訓練方法，其特征在于，所述方法包括：

獲取目標語言訓練數據和輔助語言訓練數據；

將所述目標語言訓練數據和所述輔助語言訓練數據輸入意圖理解模型，得到所述意圖理解模型輸出的所述目標語言訓練數據對應的預測意圖和所述輔助語言訓練數據對應的預測意圖；

根據所述目標語言訓練數據對應的預測意圖和所述輔助語言訓練數據對應的預測意圖，確定所述意圖理解模型的模型預測損失；

根據所述意圖理解模型的模型預測損失更新所述意圖理解模型，并繼續執行所述將所述目標語言訓練數據和所述輔助語言訓練數據輸入意圖理解模型的步驟，直至達到預設停止條件。

2.根據權利要求1所述的方法，其特征在于，所述目標語言訓練數據包括目標語言真實數據、目標語言翻譯數據和目標語言生成數據中的至少一種；其中，所述目標語言翻譯數據是將輔助語言真實數據進行翻譯得到的；所述目標語言生成數據是根據候選意圖數據生成的。

3.根據權利要求2所述的方法，其特征在于，所述目標語言生成數據的獲取過程為：

將所述候選意圖數據輸入預先構建的目標語言數據生成模型，得到所述目標語言數據生成模型輸出的目標語言生成數據；其中，所述目標語言數據生成模型是利用目標語言標注數據和輔助語言標注數據訓練得到的。

4.根據權利要求3所述的方法，其特征在于，所述目標語言數據生成模型的構建過程包括：

利用所述輔助語言標注數據對待訓練模型進行訓練，得到輔助語言數據生成模型；

利用所述目標語言標注數據對所述輔助語言數據生成模型進行訓練，得到所述目標語言數據生成模型。

5.根據權利要求2所述的方法，其特征在于，所述目標語言翻譯數據的獲取過程為：

根據預設詞匯映射關系和所述輔助語言真實數據中的待翻譯詞匯，確定所述待翻譯詞匯對應的目標語言詞匯，并根據所述輔助語言真實數據和所述待翻譯詞匯對應的目標語言詞匯，確定所述目標語言翻譯數據；其中，所述預設詞匯映射關系包括所述待翻譯詞匯和所述待翻譯詞匯對應的目標語言詞匯之間的對應關系；

或者，

將所述輔助語言真實數據輸入預先構建的語言翻譯模型，得到所述語言翻譯模型輸出的所述輔助語言真實數據對應的翻譯結果，并根據所述輔助語言真實數據對應的翻譯結果，確定所述目標語言翻譯數據。

6.根據權利要求1所述的方法，其特征在于，所述根據所述目標語言訓練數據對應的預測意圖和所述輔助語言訓練數據對應的預測意圖，確定所述意圖理解模型的模型預測損失，包括：

根據所述目標語言訓練數據對應的預測意圖，確定目標語言預測損失；

根據所述輔助語言訓練數據對應的預測意圖，確定輔助語言預測損失；

根據所述目標語言預測損失和所述輔助語言預測損失，確定所述意圖理解模型的模型預測損失。

7.根據權利要求6所述的方法，其特征在于，當所述目標語言訓練數據包括目標語言真實數據、目標語言翻譯數據和目標語言生成數據，且所述目標語言訓練數據對應的預測意圖包括目標語言真實數據的預測意圖、目標語言翻譯數據的預測意圖和目標語言生成數據的預測意圖時，所述方法還包括：

獲取目標語言真實數據的實際意圖、目標語言翻譯數據的參考意圖、目標語言生成數據的實際意圖；

所述根據所述目標語言訓練數據對應的預測意圖，確定目標語言預測損失，包括：

根據所述目標語言真實數據的預測意圖和所述目標語言真實數據的實際意圖，確定目標語言真實數據對應的預測損失；

根據所述目標語言翻譯數據的預測意圖和所述目標語言翻譯數據的參考意圖，確定所述目標語言翻譯數據對應的預測損失；

根據所述目標語言生成數據的實際意圖和所述目標語言生成數據的實際意圖，確定所述目標語言生成數據對應的預測損失；

根據所述目標語言真實數據對應的預測損失、所述目標語言翻譯數據對應的預測損失和所述目標語言生成數據對應的預測損失，確定目標語言預測損失。