[發明專利]學生模型的訓練方法、裝置及電子設備

有效

• 申請號: 202010297966.1
• 申請日: 2020-04-15
• 公開（公告）號: CN111639744B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 曾凡高;張有才;危夷晨
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06N3/042
• 分類號: G06N3/042;G06N3/084
• 代理公司: 北京超凡宏宇知識產權代理有限公司 11463
• 代理人: 何少巖

本發明提供了一種學生模型的訓練方法、裝置及電子設備，涉及人工智能領域，學生模型通過知識蒸餾方式向已訓練好的教師模型學習，學生模型和教師模型均為物體檢測模型，該方法包括：獲取訓練樣本的候選樣本區域；分別通過學生模型和教師模型對訓練樣本的候選樣本區域進行特征提取，得到學生模型提取出的第一特征和教師模型提取出的第二特征；獲取第一特征的置信度；根據第一特征、第二特征和第一特征的置信度確定學生模型和教師模型之間的蒸餾損失；基于蒸餾損失更新學生模型的參數。本發明可以使學生模型能夠針對不同樣本進行不同程度的參數更新，使訓練好的學生模型具有更優秀的性能，從而提升物體檢測效果。

技術領域

本發明涉及人工智能領域，尤其是涉及一種學生模型的訓練方法、裝置及電子設備。

背景技術

知識蒸餾是一種模型壓縮常見方法，在教師-學生框架中，將復雜、學習能力強的教師模型學到的特征表示“知識”蒸餾出來，傳遞給參數量小、學習能力弱的學生網絡。由于物體檢測的知識蒸餾中樣本數量通常較大，而樣本質量卻參差不及，諸如樣本中可能包括臟樣本或過難樣本，如果一味要求學生模型在所有樣本上進行模仿，會嚴重影響學生模型的性能，學生模型在訓練過程中的蒸餾效果較差，從而導致學生模型在物體檢測時的檢測效果不佳。

發明內容

有鑒于此，本發明的目的在于提供一種學生模型的訓練方法、裝置及電子設備，使得學生模型能夠針對不同樣本進行不同程度的參數更新，使訓練好的學生模型具有更優秀的性能，從而提升物體檢測效果。

為了實現上述目的，本發明實施例采用的技術方案如下：

第一方面，本發明實施例提供了一種學生模型的訓練方法，學生模型通過知識蒸餾方式向已訓練好的教師模型學習，學生模型和教師模型均為物體檢測模型，方法包括：獲取訓練樣本的候選樣本區域；分別通過學生模型和教師模型對訓練樣本的候選樣本區域進行特征提取，得到學生模型提取出的第一特征和教師模型提取出的第二特征；獲取第一特征的置信度；根據第一特征、第二特征和第一特征的置信度確定學生模型和教師模型之間的蒸餾損失；基于蒸餾損失更新學生模型的參數。

進一步，獲取第一特征的置信度的步驟，包括：將第一特征輸入至方差生成網絡中，得到方差生成網絡輸出的第一特征的方差，通過方差表征第一特征的置信度；其中，方差生成網絡包括卷積層和/或全連接層，且方差與置信度呈負相關。

進一步，根據第一特征、第二特征和第一特征的置信度確定學生模型和教師模型之間的蒸餾損失的步驟，包括：按照如下公式確定學生模型和教師模型之間的蒸餾損失：

其中，d為特征維度，N為樣本數量；為第一特征；為第二特征；為方差。

進一步，基于蒸餾損失更新學生模型的參數的步驟，包括：獲取學生模型執行物體檢測任務的任務損失；根據任務損失和蒸餾損失更新學生模型的參數。

進一步，獲取訓練樣本的候選樣本區域的步驟，包括：將訓練樣本輸入至候選區域提取網絡，得到候選樣本區域。

進一步，獲取訓練樣本的候選樣本區域的步驟，包括：根據攜帶有真值框的標注信息確定訓練樣本的候選樣本區域。

進一步，方法還包括：將待檢測圖像輸入訓練后的學生模型，基于訓練后的學生模型對待檢測圖像進行物體檢測，得到物體檢測結果。

第二方面，本發明實施例還提供一種學生模型的訓練裝置，學生模型通過知識蒸餾方式向已訓練好的教師模型學習，學生模型和教師模型均為物體檢測模型，裝置包括：獲取模塊，用于獲取訓練樣本的候選樣本區域；特征提取模塊，用于分別通過學生模型和教師模型對訓練樣本的候選樣本區域進行特征提取，得到學生模型提取出的第一特征和教師模型提取出的第二特征；置信度獲取模塊，用于獲取第一特征的置信度；蒸餾損失確定模塊，用于根據第一特征、第二特征和第一特征的置信度確定學生模型和教師模型之間的蒸餾損失；參數更新模塊，用于基于蒸餾損失更新學生模型的參數。