[發明專利]基于知識蒸餾的人體檢測模型訓練方法及裝置

在審

• 申請號: 202310084529.5
• 申請日: 2023-01-16
• 公開（公告）號: CN116052215A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 何翔;黃澤元
• 申請（專利權）人: 北京龍智數科科技服務有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/774;G06V10/778
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 楊波

本申請提供一種基于知識蒸餾的人體檢測模型訓練方法及裝置。該方法包括：獲取預訓練好的教師模型，并對預設的人體檢測模型的參數進行初始化，得到學生模型；將樣本圖像分別輸入到教師模型及學生模型中，利用教師模型對應的分類分支輸出第一置信度，并利用學生模型對應的分類分支輸出第二置信度；基于第一置信度、第二置信度以及溫度參數計算二元交叉熵損失，并依據第一置信度計算權重，利用權重計算加權后的廣義交并比損失；利用二元交叉熵損失及加權后的廣義交并比損失，分別對學生模型的分類分支和邊界框分支進行訓練，得到訓練后的人體檢測模型。本申請簡化了基于知識蒸餾的人體檢測模型的結構，提高了算法的泛化性，提升模型的蒸餾效果。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于知識蒸餾的人體檢測模型訓練方法及裝置。

背景技術

目標檢測算法在實際中應用廣泛，其中比較常見的是人體檢測算法，比如YOLOX算法，因為其高精度的檢測效果，被常用在工業界，比如人體檢測項目等。知識蒸餾是一種利用大模型提高小模型泛化性的手段，因為它有無損模型速度提高模型精度的優勢，也已被廣泛應用。然而，目標檢測算法由于其任務的復雜性，導致傳統的蒸餾方法在目標檢測算法中很難生效。

以基于YOLOX算法的人體檢測任務為例，需要同時定位人體的位置坐標以及判斷是否屬于人體，相對圖像分類任務更加復雜，現有技術使用的基于softmax與交叉熵的蒸餾損失無法用在人體檢測任務中，導致無法利用知識蒸餾來提高人體檢測的泛化性。因此，現有的人體檢測模型無法應用知識蒸餾的方式訓練，導致人體檢測模型的泛化性差，人體檢測模型的檢測精度降低。

發明內容

有鑒于此，本申請實施例提供了一種基于知識蒸餾的人體檢測模型訓練方法及裝置，以解決現有技術存在的人體檢測模型無法應用知識蒸餾的方式訓練，人體檢測模型的泛化性差，人體檢測模型的檢測精度降低的問題。

本申請實施例的第一方面，提供了一種基于知識蒸餾的人體檢測模型訓練方法，包括：獲取預訓練好的教師模型，并對預設的人體檢測模型的參數進行初始化，得到學生模型；將樣本圖像分別輸入到教師模型及學生模型中，利用教師模型對應的分類分支輸出第一置信度，并利用學生模型對應的分類分支輸出第二置信度；基于第一置信度、第二置信度以及溫度參數計算二元交叉熵損失，并依據第一置信度計算權重，利用權重計算加權后的廣義交并比損失；利用二元交叉熵損失及加權后的廣義交并比損失，分別對學生模型的分類分支和邊界框分支進行訓練，得到訓練后的人體檢測模型。

本申請實施例的第二方面，提供了一種基于知識蒸餾的人體檢測模型訓練裝置，包括：獲取模塊，被配置為獲取預訓練好的教師模型，并對預設的人體檢測模型的參數進行初始化，得到學生模型；置信度模塊，被配置為將樣本圖像分別輸入到教師模型及學生模型中，利用教師模型對應的分類分支輸出第一置信度，并利用學生模型對應的分類分支輸出第二置信度；計算模塊，被配置為基于第一置信度、第二置信度以及溫度參數計算二元交叉熵損失，并依據第一置信度計算權重，利用權重計算加權后的廣義交并比損失；訓練模塊，被配置為利用二元交叉熵損失及加權后的廣義交并比損失，分別對學生模型的分類分支和邊界框分支進行訓練，得到訓練后的人體檢測模型。

本申請實施例的第三方面，提供了一種電子設備，包括存儲器，處理器及存儲在存儲器上并可在處理器上運行的計算機程序，處理器執行程序時實現上述方法的步驟。

本申請實施例的第四方面，提供了一種計算機可讀存儲介質，該計算機可讀存儲介質存儲有計算機程序，該計算機程序被處理器執行時實現上述方法的步驟。

本申請實施例采用的上述至少一個技術方案能夠達到以下有益效果：