[發明專利]一種多任務模型蒸餾方法、系統、介質及電子終端

在審

• 申請號: 202111009408.1
• 申請日: 2021-08-31
• 公開（公告）號: CN113706347A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 何哲宇
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海漢之律師事務所 31378
• 代理人: 馮華

1.一種多任務模型蒸餾方法，其特征在于，包括：

當按照預設的任務訓練順序對多任務模型進行多個任務的一次輪換訓練時，凍結多任務模型的中間參數層，保留嵌入層、以及多個與任務相對應的分類層，所述多任務模型的中間參數層包括多個第一子層，所述凍結多任務模型的中間參數層的步驟包括：凍結多任務模型的中間參數層中的全部參數或部分參數，所述部分參數包括從靠近所述嵌入層的第一子層開始，多個連續的第一子層的參數；

將經過多任務輪換訓練的嵌入層、凍結的中間參數層以及與任務對應的任一分類層作為教師模型，利用所述教師模型，進行模型蒸餾，獲取多個蒸餾后的學生模型；

根據所述任務訓練順序，對多個蒸餾后的學生模型進行二次輪換訓練，獲取經過二次輪換訓練的學生模型；

根據經過二次輪換訓練的學生模型，確定最終模型。

2.根據權利要求1所述的多任務模型蒸餾方法，其特征在于，對多個蒸餾后的學生模型進行二次輪換訓練的步驟包括：

對蒸餾后的學生模型的中間參數層進行凍結，所述對蒸餾后的學生模型的中間參數層進行凍結的步驟包括：對蒸餾后的學生模型的中間參數層中的全部參數或部分參數進行凍結，所述蒸餾后的學生模型的中間參數層包括多個第二子層，所述部分參數包括從靠近蒸餾后的學生模型的嵌入層的第二子層開始，多個連續的第二子層的參數；

并且，保留蒸餾后的學生模型的嵌入層、以及對應的分類層，進而獲取經過二次輪換訓練的學生模型。

3.根據權利要求1所述的多任務模型蒸餾方法，其特征在于，凍結多任務模型的中間參數層中的全部參數或部分參數的步驟包括：

根據預先設置的第一凍結層數，從靠近多任務模型的嵌入層的第一子層開始，獲取第一待凍結子層；

根據所述第一待凍結子層，確定第一待凍結參數；

對所述第一待凍結參數進行凍結。

4.根據權利要求2所述的多任務模型蒸餾方法，其特征在于，對蒸餾后的學生模型的中間參數層中的全部參數或部分參數進行凍結的步驟包括：

根據預先設置的第二凍結層數，從靠近蒸餾后的學生模型的嵌入層的第二子層開始，獲取第二待凍結子層；

根據所述第二待凍結子層，確定第二待凍結參數；

對所述第二待凍結參數進行凍結。

5.根據權利要求3所述的多任務模型蒸餾方法，其特征在于，對所述第一待凍結參數進行凍結的步驟包括：

根據預先設置的凍結屬性，對所述第一待凍結參數的參數屬性進行更新；

在所述多任務模型的優化器中加入參數過濾器；

一次輪換訓練過程中，所述參數過濾器根據更新后的第一待凍結參數的參數屬性，對所述第一待凍結參數進行過濾，完成對所述第一待凍結參數的凍結。

6.根據權利要求1所述的多任務模型蒸餾方法，其特征在于，利用所述教師模型，進行模型蒸餾的步驟包括：

采集訓練數據集，所述訓練數據集包括：多個訓練樣本，以及與所述訓練樣本相對應的預測標簽；

將所述訓練數據集中的訓練樣本分別輸入所述教師模型和獲取的學生模型進行預測，獲取教師預測結果和學生預測結果；

根據所述教師預測結果和預設的第一損失函數，獲取教師模型的第一損失；

根據所述學生預測結果和預設的第二損失函數，獲取學生模型的第二損失；

根據所述第一損失、第二損失和預設的權值，獲取第三損失，利用所述第三損失，對所述學生模型進行訓練與優化，獲取蒸餾后的學生模型。

7.根據權利要求1所述的多任務模型蒸餾方法，其特征在于，根據經過二次輪換訓練的學生模型，確定最終模型的步驟包括：

根據預設的組合規則，將經過二次輪換訓練的多個學生模型的嵌入層、中間參數層和分類層，進行組合，獲取最終模型，多個嵌入層與多個中間參數層相對應，多個中間參數層與多個分類層相對應。