[發(fā)明專利]一種意圖理解模型訓(xùn)練方法及裝置、意圖理解方法及裝置

在審

• 申請?zhí)枺?/td>: 202011500085.1
• 申請日: 2020-12-17
• 公開（公告）號: CN112528679A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計）人: 尹坤;劉權(quán);陳志剛;王智國;胡國平
• 申請（專利權(quán)）人: 科大訊飛股份有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F16/35;G06F40/42;G06F3/16
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 馮柳偉

本申請公開了一種意圖理解模型訓(xùn)練方法及裝置、意圖理解方法及裝置，該意圖理解模型訓(xùn)練方法包括：在獲取到目標語言訓(xùn)練數(shù)據(jù)和輔助語言訓(xùn)練數(shù)據(jù)之后，先將該目標語言訓(xùn)練數(shù)據(jù)和該輔助語言訓(xùn)練數(shù)據(jù)輸入意圖理解模型，得到該意圖理解模型輸出的該目標語言訓(xùn)練數(shù)據(jù)對應(yīng)的預(yù)測意圖和該輔助語言訓(xùn)練數(shù)據(jù)對應(yīng)的預(yù)測意圖，并根據(jù)該目標語言訓(xùn)練數(shù)據(jù)對應(yīng)的預(yù)測意圖和該輔助語言訓(xùn)練數(shù)據(jù)對應(yīng)的預(yù)測意圖，確定該意圖理解模型的模型預(yù)測損失；再根據(jù)該模型預(yù)測損失更新意圖理解模型，并返回執(zhí)行將目標語言訓(xùn)練數(shù)據(jù)和輔助語言訓(xùn)練數(shù)據(jù)輸入意圖理解模型的步驟及其后續(xù)步驟，直至達到預(yù)設(shè)停止條件。如此能夠有效地提高意圖理解模型的意圖理解性能。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及一種意圖理解模型訓(xùn)練方法及裝置、意圖理解方法及裝置。

背景技術(shù)

目前，一些人機交互設(shè)備能夠針對用戶輸入的用戶語句(例如，語音語句和/或文本語句)與該用戶進行人機交互，以使得該人機交互設(shè)備能夠輔助該用戶完成相應(yīng)的操作需求(例如，路線查詢、機票訂購等需求)。

對于人機交互設(shè)備來說，在人機交互設(shè)備接收到用戶輸入的用戶語句之后，該人機交互設(shè)備需要先針對該用戶語句進行意圖理解確定用戶意圖，再由該人機交互設(shè)備依據(jù)該用戶意圖與該用戶進行人機交互。

然而，因現(xiàn)有的人機交互設(shè)備仍然無法對用戶語句(尤其是地方方言、小語種等使用范圍較小語言下的用戶語句)進行準確地意圖理解，導(dǎo)致如何準確地理解用戶意圖是一個亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請實施例的主要目的在于提供一種意圖理解模型訓(xùn)練方法及裝置、意圖理解方法及裝置，能夠從用戶語句中準確地理解出用戶意圖，尤其能夠從地方方言、小語種等使用范圍較小語言下用戶語句中準確地理解出用戶意圖。

本申請實施例提供了一種意圖理解模型訓(xùn)練方法，所述方法包括：

獲取目標語言訓(xùn)練數(shù)據(jù)和輔助語言訓(xùn)練數(shù)據(jù)；

將所述目標語言訓(xùn)練數(shù)據(jù)和所述輔助語言訓(xùn)練數(shù)據(jù)輸入意圖理解模型，得到所述意圖理解模型輸出的所述目標語言訓(xùn)練數(shù)據(jù)對應(yīng)的預(yù)測意圖和所述輔助語言訓(xùn)練數(shù)據(jù)對應(yīng)的預(yù)測意圖；

根據(jù)所述目標語言訓(xùn)練數(shù)據(jù)對應(yīng)的預(yù)測意圖和所述輔助語言訓(xùn)練數(shù)據(jù)對應(yīng)的預(yù)測意圖，確定所述意圖理解模型的模型預(yù)測損失；

根據(jù)所述意圖理解模型的模型預(yù)測損失更新所述意圖理解模型，并繼續(xù)執(zhí)行所述將所述目標語言訓(xùn)練數(shù)據(jù)和所述輔助語言訓(xùn)練數(shù)據(jù)輸入意圖理解模型的步驟，直至達到預(yù)設(shè)停止條件。

在一種可能的實施方式中，所述目標語言訓(xùn)練數(shù)據(jù)包括目標語言真實數(shù)據(jù)、目標語言翻譯數(shù)據(jù)和目標語言生成數(shù)據(jù)中的至少一種；其中，所述目標語言翻譯數(shù)據(jù)是將輔助語言真實數(shù)據(jù)進行翻譯得到的；所述目標語言生成數(shù)據(jù)是根據(jù)候選意圖數(shù)據(jù)生成的。

在一種可能的實施方式中，所述目標語言生成數(shù)據(jù)的獲取過程為：

將所述候選意圖數(shù)據(jù)輸入預(yù)先構(gòu)建的目標語言數(shù)據(jù)生成模型，得到所述目標語言數(shù)據(jù)生成模型輸出的目標語言生成數(shù)據(jù)；其中，所述目標語言數(shù)據(jù)生成模型是利用目標語言標注數(shù)據(jù)和輔助語言標注數(shù)據(jù)訓(xùn)練得到的。

在一種可能的實施方式中，所述目標語言數(shù)據(jù)生成模型的構(gòu)建過程包括：

利用所述輔助語言標注數(shù)據(jù)對待訓(xùn)練模型進行訓(xùn)練，得到輔助語言數(shù)據(jù)生成模型；

利用所述目標語言標注數(shù)據(jù)對所述輔助語言數(shù)據(jù)生成模型進行訓(xùn)練，得到所述目標語言數(shù)據(jù)生成模型。

在一種可能的實施方式中，所述目標語言翻譯數(shù)據(jù)的獲取過程為：