[發明專利]意圖識別模型的訓練方法、意圖識別方法和設備

在審

• 申請號: 202110369270.X
• 申請日: 2021-04-06
• 公開（公告）號: CN113806501A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 巨鑫;唐樾
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06N20/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種意圖識別模型的訓練方法，其特征在于，所述方法包括：

獲取待訓練意圖識別模型對應的多任務學習框架以及對應的訓練數據，其中，所述多任務學習框架包括：意圖識別任務對應的意圖分類層、與多個子任務分別對應的多個子任務層，其中，所述多個子任務層均與所述意圖分類層連接，所述訓練數據包括樣本數據以及對應的標簽數據，其中，所述標簽數據包括：所述意圖識別任務對應的第一標簽、以及所述多個子任務分別對應的第二標簽；

將所述樣本數據輸入至所述多個子任務層，得到所述多個子任務對應的預測結果；

將所述多個子任務層針對所述樣本數據輸出的隱向量輸入至意圖分類層，以得到所述意圖識別任務的預測結果；

根據所述多個子任務的預測結果和所述第二標簽，以及所述意圖識別任務的預測結果和所述第一標簽，對所述多任務學習框架進行訓練，以得到訓練后的意圖識別模型。

2.如權利要求1所述的方法，其特征在于，所述根據所述多個子任務的預測結果和所述第二標簽，以及所述意圖識別任務的預測結果和所述第一標簽，對所述多任務學習框架進行訓練，以得到訓練后的意圖識別模型，包括：

根據所述多個子任務的預測結果以及所述第二標簽，確定所述多個子任務各自對應的第一損失函數值；

根據所述意圖識別任務的預測結果以及所述第一標簽，確定所述意圖識別任務的第二損失函數值；

根據所述第一損失函數值以及所述第二損失函數值，確定所述多任務學習框架的總損失函數值；

根據所述總損失函數值，調整所述多任務學習框架的模型參數，以得到訓練后的意圖識別模型。

3.如權利要求2所述的方法，其特征在于，所述根據所述第一損失函數值以及所述第二損失函數值，確定所述多任務學習框架的總損失函數值，包括：

針對每個子任務，確定出所述子任務的預測結果和第二標簽之間的方差；

根據所述多個子任務層對應的方差，分別確定所述多個子任務對應的觀測噪聲；

根據所述多個子任務對應的第一損失函數值和觀測噪聲，分別確定出所述多個子任務對應的第一中間損失函數值；

根據所述第二損失函數值和所述第一中間損失函數值，確定所述多任務學習框架的總損失函數值。

4.如權利要求1所述的方法，其特征在于，所述多任務學習框架還包括：與所述多個子任務層均連接的詞向量層、位于每兩個相鄰子任務層中間的共享層，所述將所述樣本數據輸入至所述多個子任務層，包括：

將所述樣本數據輸入至所述詞向量層，以得到所述樣本數據的詞向量；

將所述詞向量輸入至所述共享層，以通過所述共享層抽取對應相鄰兩個子任務之間的共同特征向量；

針對每個子任務層，將所述詞向量以及與所述子任務層對應的共享層的共同特征向量輸入到所述子任務層中。

5.如權利要求1所述的方法，其特征在于，在所述將所述多個子任務層針對所述樣本數據輸出的隱向量輸入至意圖分類層之前，所述方法還包括：

獲取與所述多個子任務各自對應的權重；

針對每個子任務層，將所述子任務層針對所述樣本數據輸出的隱向量，與對應子任務的權重進行相乘，以得到所述子任務層對應的新的隱向量；

所述將所述多個子任務層針對所述樣本數據輸出的隱向量輸入至意圖分類層，包括：

將所述多個子任務對應的新的隱向量輸入到所述意圖分類層。

6.一種基于如權利要求1-5任一項所述的方法訓練得到的意圖識別模型所進行的意圖識別方法，其特征在于，所述方法包括：

獲取待處理數據；

將所述待處理數據輸入到訓練后的意圖識別模型，以得到所述待處理數據的意圖識別結果。