[發明專利]模型蒸餾及相關方法、裝置和電子設備、存儲介質

在審

• 申請號: 202110897302.3
• 申請日: 2021-08-05
• 公開（公告）號: CN113344190A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 金博偉;許琢;支洪平;孫萍;王旭;魯盈悅;金玥;高逸晨
• 申請（專利權）人: 科大訊飛（蘇州）科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種模型蒸餾方法，其特征在于，包括：

獲取第一模型和第二模型；其中，所述第一模型的第一參數數量多于所述第二模型的第二參數數量；

基于所述第一模型和所述第二模型，得到多個網絡模型；其中，所述多個網絡模型包括所述第一模型、所述第二模型和預設數值個第三模型，所述第三模型的第三參數數量少于所述第一參數數量且多于所述第二參數數量；

利用樣本數據對所述多個網絡模型進行模型蒸餾，得到目標模型。

2.根據權利要求1所述的方法，其特征在于，所述多個網絡模型按照參數數量依序排列，且相鄰所述網絡模型的參數數量之間的差值均在預設范圍之內。

3.根據權利要求2所述的方法，其特征在于，相鄰所述網絡模型的參數數量之間的第一差值相同。

4.根據權利要求3所述的方法，其特征在于，所述基于所述第一模型和所述第二模型，得到多個網絡模型，包括：

獲取所述第一參數數量和所述第二參數數量之間的第二差值，并基于所述第二差值與所述預設數值，得到所述第一差值；

基于所述第三模型在所述多個網絡模型中的序位與所述第一差值之積以及所述第一參數數量，得到所述第三模型的第三參數數量。

5.根據權利要求1所述的方法，其特征在于，所述目標模型是在所述模型蒸餾過程中經過若干輪訓練得到的，且每一輪訓練均優化各個所述網絡模型的網絡參數。

6.根據權利要求1所述的方法，其特征在于，所述樣本數據標注有樣本標簽，且所述樣本標簽屬于若干預設標簽；所述利用樣本數據對所述多個網絡模型進行模型蒸餾，得到目標模型，包括：

利用所述多個網絡模型分別對所述樣本數據進行處理，得到所述樣本數據關于所述若干預設標簽的后驗概率；

分別獲取若干組模型對之間關于所述后驗概率的第一差異，并獲取所述若干組模型對的加權因子；

基于所述加權因子對所述第一差異的加權結果，優化所述多個網絡模型的網絡參數；

響應于所述多個網絡模型的訓練結果滿足預設條件，選擇所述網絡模型作為所述目標模型。

7.根據權利要求6所述的方法，其特征在于，在所述基于所述加權因子對所述第一差異的加權結果，優化所述多個網絡模型的網絡參數之前，所述方法還包括：

對于每一所述網絡模型，基于所述后驗概率與所述樣本標簽，得到所述網絡模型的第一子損失；

統計所述多個網絡模型的第一子損失，得到第一損失值；

所述基于所述加權因子對所述第一差異的加權結果，優化所述多個網絡模型的網絡參數，包括：

利用所述加權因子對所述第一差異進行加權處理，得到第二損失值；

基于所述第一損失值和所述第二損失值，優化所述多個網絡模型的網絡參數。

8.根據權利要求6所述的方法，其特征在于，所述多個網絡模型按照參數數量依序排列，且每組所述模型對包括一對相鄰的網絡模型。

9.根據權利要求6所述的方法，其特征在于，所述模型對之間關于所述后驗概率的第二差異與所述模型對的加權因子正相關。

10.一種數據處理方法，其特征在于，包括：

獲取待處理數據；其中，所述待處理數據包括圖像數據、音頻數據、文本數據中至少一者；

利用目標模型對所述待處理數據進行處理，得到處理結果；

其中，所述目標模型是利用權利要求1至9任一項所述的模型蒸餾方法得到的。