[發明專利]機器學習模型的訓練方法、意圖識別方法及相關裝置、設備

有效

• 申請號: 201811303694.0
• 申請日: 2018-11-02
• 公開（公告）號: CN111144124B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 晏小輝
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F16/332;G10L15/26
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種用于識別意圖的膠囊網絡模型的訓練方法，其特征在于，所述方法包括：

接收訓練樣本，所述訓練樣本包括訓練文本和所述訓練文本的真實意圖，其中，多個所述訓練樣本中的真實意圖組成真實意圖集合；

從所述訓練文本中提取多個語義特征；

根據膠囊網絡模型的當前模型參數對所述多個語義特征進行處理，得到所述訓練文本的意圖預測為所述真實意圖集合中每一個真實意圖的概率；

所述處理包括：根據多個預測向量的加權和得到第一激活向量；根據所述第一激活向量與第一預測向量的相似度調整所述第一預測向量所對應的當前權重系數；其中，所述多個預測向量中的任意一個預測向量用于表示所述多個語義特征中的一個語義特征對所述第一真實意圖的貢獻，所述第一預測向量表示第一語義特征對所述第一真實意圖的貢獻，所述第一語義特征為所述多個語義特征中的任意一個語義特征；所述第一激活向量表示所述訓練文本的意圖預測為所述第一真實意圖的概率；所述第一真實意圖為所述真實意圖集合中的任意一個真實意圖；

將根據所述訓練文本的真實意圖與所述訓練文本的意圖預測為所述真實意圖集合中每一個真實意圖的概率所確定的梯度反向傳播到所述膠囊網絡模型，調節所述膠囊網絡模型的當前模型參數。

2.根據權利要求1所述的方法，其特征在于，所述將根據所述訓練文本的真實意圖與所述訓練文本的意圖預測為所述真實意圖集合中每一個真實意圖的概率所確定的梯度反向傳播到所述膠囊網絡模型，調節所述膠囊網絡模型的當前模型參數，包括：

根據第一誤差和第二誤差確定損失函數；其中，所述第一誤差為正類間隔與所述訓練文本的意圖預測為所述訓練樣本的真實意圖的概率之間的誤差，所述第二誤差包括負類間隔分別與所述訓練文本的意圖預測不為所述訓練樣本的真實意圖的概率之間的誤差；

根據所述損失函數所確定的梯度反向傳播到所述膠囊網絡模型，調節所述膠囊網絡模型的當前模型參數。

3.根據權利要求2所述的方法，其特征在于，所述損失函數為：

其中，L為所述損失函數，m⁺-||v_k||為所述第一誤差，||v_k||-m^-為所述第二誤差，y為所述訓練文本的真實意圖，k為所述真實意圖集合中真實意圖的索引，y_k為所述真實意圖集合中的真實意圖k；當y＝y_k時，[[y＝y_k]]＝1；當y≠y_k時，[[y＝y_k]]＝0；當y≠y_k時，[[y≠y_k]]＝1；當y＝y_k時，[[y≠y_k]]＝0；m⁺為正類間隔，m-為負類間隔，||v_k||為所述訓練文本的意圖預測為所述真實意圖k的概率。

4.根據權利要1-3任一項所述的方法，其特征在于，所述根據多個預測向量的加權和得到第一激活向量之前，所述處理還包括：所述根據膠囊網絡模型的當前模型參數和所述多個語義特征得到所述多個預測向量；

所述根據多個預測向量的加權和得到第一激活向量，具體包括：對所述多個預測向量依次進行加權求和以及擠壓(squash)操作得到所述第一激活向量。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述方法還包括：

計算所述真實意圖集合中每一個真實意圖和零樣本意圖集合中每一個零樣本意圖的相似度，得到意圖相似度矩陣；

其中，所述零樣本意圖集合與所述真實意圖集合的交集為空集；所述意圖相似度矩陣包括第一相似度集合；所述第一相似度集合包括所述真實意圖集合中每一個真實意圖分別與第一零樣本意圖的相似度，用于計算所述多個語義特征分別對所述第一零樣本意圖的貢獻；所述第一語義特征對所述第一零樣本意圖的貢獻為根據所述第一語義特征分別對所述真實意圖集合中每一個真實意圖的貢獻和所述第一相似度集合得到。