[發明專利]模型訓練方法、裝置、設備及計算機可讀介質

在審

• 申請號: 202110014739.8
• 申請日: 2021-01-06
• 公開（公告）號: CN112686046A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 白強偉;黃艷香
• 申請（專利權）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 曾軍;黃巍

1.一種模型訓練方法，其特征在于，包括：

將訓練樣本輸入第一模型，并獲取所述第一模型的全連接層輸出的第一識別結果；

將訓練樣本和所述第一識別結果輸入第二模型，并獲取所述第二模型的全連接層輸出的第二識別結果，其中，所述第一模型的參數量大于所述第二模型的參數量，所述第一模型的識別準確度大于所述第二模型的識別準確度；

利用所述第一識別結果、所述第二識別結果和所述訓練樣本的預標注數據構建目標損失函數；

利用所述目標損失函數調整所述第二模型中的參數，以使所述第二模型的識別準確度達到目標閾值，其中，所述第二模型的輸出結果與所述第一模型的輸出結果相同時，識別準確。

2.根據權利要求1所述的方法，其特征在于，

將訓練樣本輸入第一模型，并獲取所述第一模型的全連接層輸出的第一識別結果包括：

將所述訓練樣本輸入所述第一模型，并獲取所述第一模型的全連接層輸出的第一非標準化概率分布；采用歸一化函數將所述第一非標準化概率分布轉換為第一標準化概率分布，其中，所述第一識別結果包括所述第一標準化概率分布；

將訓練樣本和所述第一識別結果輸入第二模型，并獲取所述第二模型的全連接層輸出的第二識別結果包括：

將所述訓練樣本和所述第一標準化概率分布輸入所述第二模型，并獲取所述第二模型的全連接層輸出的第二非標準化概率分布；采用所述歸一化函數將所述第二非標準化概率分布轉換為第二標準化概率分布，并利用所述第二標準化概率分布確定所述訓練樣本的訓練分類標簽，其中，所述第二識別結果包括所述第二標準化概率分布和所述訓練分類標簽。

3.根據權利要求2所述的方法，其特征在于，利用所述第一識別結果、所述第二識別結果和所述訓練樣本的預標注數據構建目標損失函數包括：

利用所述第一標準化概率分布和所述第二標準化概率分布構建第一損失函數，其中，所述第一損失函數表示所述第一標準化概率分布和所述第二標準化概率分布之間的交叉熵；

利用所述訓練樣本的預分類標簽和所述訓練分類標簽構建第二損失函數，其中，所述第二損失函數表示所述預分類標簽和所述訓練分類標簽之間的交叉熵，所述預標注數據包括所述預分類標簽；

將所述第一損失函數與所述第二損失函數相加，得到所述目標損失函數。

4.根據權利要求3所述的方法，其特征在于，利用所述第一識別結果和所述第二識別結果構建目標損失函數還包括：

遍歷所述訓練樣本中的每一個單詞，并根據每一個單詞在所述第一模型和所述第二模型中全連接層的輸出結果及每一個單詞的所述預分類標簽確定每一個單詞的所述目標損失函數；

將所述訓練樣本中所有單詞的所述目標損失函數相加后，再除以所述訓練樣本中單詞的個數，得到所述訓練樣本整體的所述目標損失函數。

5.根據權利要求4所述的方法，其特征在于，利用所述目標損失函數調整所述第二模型中的參數，以使所述第二模型的識別準確度達到目標閾值包括：

獲取所述目標損失函數確定的損失值，其中，所述損失值用于表示所述第一模型和所述第二模型之間識別準確度的差異；

利用所述損失值調整所述第二模型的參數，直至所述第二模型的輸出精度達到所述目標閾值。

6.根據權利要求1至5任一所述的方法，其特征在于，利用所述目標損失函數調整所述第二模型中的參數，以使所述第二模型的識別準確度達到目標閾值之后，所述方法還包括按照如下方式進行遷移集訓練：

將遷移數據集輸入所述第一模型，并獲取所述第一模型的全連接層輸出的第三識別結果，其中，所述遷移數據集為未進行數據標注的數據集；

將所述遷移數據集和所述第三識別結果輸入所述第二模型，并獲取所述第二模型的全連接層輸出的第四識別結果；

采用歸一化函數將所述第三識別結果轉換為第三標準化概率分布，采用歸一化函數將所述第四識別結果轉換為第四標準化概率分布；

利用所述第三標準化概率分布和所述第四標準化概率分布構建軟標簽損失函數；

利用所述軟標簽損失函數確定的損失值調整所述第二模型的參數，直至所述第二模型的輸出精度達到遷移集目標閾值。