[發(fā)明專利]學生模型的訓練方法、裝置及電子設備

有效

• 申請?zhí)枺?/td>: 202010297966.1
• 申請日: 2020-04-15
• 公開（公告）號: CN111639744B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設計）人: 曾凡高;張有才;危夷晨
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06N3/042
• 分類號: G06N3/042;G06N3/084
• 代理公司: 北京超凡宏宇知識產權代理有限公司 11463
• 代理人: 何少巖

1.一種學生模型的訓練方法，其特征在于，所述學生模型通過知識蒸餾方式向已訓練好的教師模型學習，所述學生模型和所述教師模型均為物體檢測模型，所述方法包括：

獲取訓練樣本的候選樣本區(qū)域；

分別通過所述學生模型和所述教師模型對所述訓練樣本的候選樣本區(qū)域進行特征提取，得到所述學生模型提取出的第一特征和所述教師模型提取出的第二特征；

通過求取所述第一特征的方差獲取所述第一特征的置信度；

根據所述第一特征、所述第二特征和所述第一特征的置信度確定所述學生模型和所述教師模型之間的蒸餾損失；

基于所述蒸餾損失更新所述學生模型的參數；

其中，根據所述第一特征、所述第二特征和所述第一特征的置信度確定所述學生模型和所述教師模型之間的蒸餾損失的步驟，包括：

按照如下公式確定所述學生模型和所述教師模型之間的蒸餾損失：

其中，d為特征維度，N為樣本數量；為所述第一特征；為所述第二特征；為所述方差。

2.根據權利要求1所述的方法，其特征在于，通過求取所述第一特征的方差獲取所述第一特征的置信度的步驟，包括：

將所述第一特征輸入至方差生成網絡中，得到所述方差生成網絡輸出的所述第一特征的方差，通過所述方差表征所述第一特征的置信度；其中，所述方差生成網絡包括卷積層和/或全連接層，且所述方差與所述置信度呈負相關。

3.根據權利要求1所述的方法，其特征在于，基于所述蒸餾損失更新所述學生模型的參數的步驟，包括：

獲取所述學生模型執(zhí)行物體檢測任務的任務損失；

根據所述任務損失和所述蒸餾損失更新所述學生模型的參數。

4.根據權利要求1所述的方法，其特征在于，所述獲取訓練樣本的候選樣本區(qū)域的步驟，包括：

將所述訓練樣本輸入至候選區(qū)域提取網絡，得到候選樣本區(qū)域。

5.根據權利要求1所述的方法，其特征在于，所述獲取訓練樣本的候選樣本區(qū)域的步驟，包括：

根據攜帶有真值框的標注信息確定訓練樣本的候選樣本區(qū)域。

6.根據權利要求1至5任一項所述的方法，其特征在于，所述方法還包括：

將待檢測圖像輸入訓練后的學生模型，基于所述訓練后的學生模型對所述待檢測圖像進行物體檢測，得到物體檢測結果。

7.一種學生模型的訓練裝置，其特征在于，所述學生模型通過知識蒸餾方式向已訓練好的教師模型學習，所述學生模型和所述教師模型均為物體檢測模型，所述裝置包括：

獲取模塊，用于獲取訓練樣本的候選樣本區(qū)域；

特征提取模塊，用于分別通過所述學生模型和所述教師模型對所述訓練樣本的候選樣本區(qū)域進行特征提取，得到所述學生模型提取出的第一特征和所述教師模型提取出的第二特征；

置信度獲取模塊，用于通過求取所述第一特征的方差獲取所述第一特征的置信度；

蒸餾損失確定模塊，用于根據所述第一特征、所述第二特征和所述第一特征的置信度確定所述學生模型和所述教師模型之間的蒸餾損失；

參數更新模塊，用于基于所述蒸餾損失更新所述學生模型的參數；

其中，根據所述第一特征、所述第二特征和所述第一特征的置信度確定所述學生模型和所述教師模型之間的蒸餾損失時，所述蒸餾損失確定模塊具體用于：

按照如下公式確定所述學生模型和所述教師模型之間的蒸餾損失：

其中，d為特征維度，N為樣本數量；為所述第一特征；為所述第二特征；為所述方差。

8.一種電子設備，其特征在于，包括：處理器和存儲裝置；

所述存儲裝置上存儲有計算機程序，所述計算機程序在被所述處理器運行時執(zhí)行如權利要求1至6任一項所述的方法。

9.一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，其特征在于，所述計算機程序被處理器運行時執(zhí)行上述權利要求1至6任一項所述的方法的步驟。