[發明專利]基于二階段物體檢測器的半監督物檢測及訓練方法、裝置

有效

• 申請號: 202210812617.8
• 申請日: 2022-07-12
• 公開（公告）號: CN114882325B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 程樂超;李冠彬;王闊
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/778;G06V20/70
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝;楊小凡

1.一種基于二階段物體檢測器的半監督物體檢測訓練方法，根據物體檢測器建立教師-學生框架，通過有標簽圖像和無標簽圖像，構建監督和無監督分支，其中監督分支將有標簽圖像用于學生模型的參數更新；無監督分支對無標簽圖像進行強、弱增強處理，教師模型通過弱增強圖像得到的類別標簽，結合強增強圖像來訓練學生模型，再根據學生模型的參數更新教師模型，其特征在于包括如下步驟：

步驟S1：構建合理選擇機制，將學生模型生成的候選框送入教師模型，教師模型根據候選框及弱增強圖像，得到候選框對應類別的預測分數，以背景類的預測分數作為依據，進行前景框和/或背景框的篩選；將背景類的預測分數與第一閾值比較，進行前景類和背景類的劃分，得到前景集和背景集，按比例篩選前景框和背景框用于訓練；

步驟S2：構建動態閾值化機制，基于教師模型為候選框生成的預測分數，生成類別的軟標簽，用于學生模型的訓練；

將N+1維的預測分數中，超過第二閾值的值提升為1，作為訓練時的軟標簽，N表示數據集中前景類的數量；記錄訓練過程中不同類別的候選框的數量，并根據每個類別的訓練圖像數量，為每個類別維持一個獨立的閾值，即第二閾值；

所述第二閾值的計算方式如下所示：

其中，是第二閾值的取值區間，向量q表示記錄的當前已學習的N種類別的圖像的數量；

為動態閾值化機制設置了一個預熱機制，即第二閾值取值區間的在訓練初期會從開始，隨著迭代次數的加深，逐漸增大到預設的值，預設的閾值取值區間的長度為，預熱機制的迭代次數為，則在訓練初期，即次迭代之內，在第次迭代時的取值通過如下方式計算：

。

2.根據權利要求1所述的基于二階段物體檢測器的半監督物體檢測訓練方法，其特征在于：所述物體檢測器包括區域生成RPN模塊和感興趣ROI模塊，根據物體檢測器復制獨立的兩份，一份作為教師模型，一份作為學生模型；

訓練過程中的整體損失，包括監督損失和無監督損失，監督損失是基于有標簽圖像及其對應的標簽，計算區域生成網絡分類損失、區域生成網絡回歸損失、感興趣區域分類損失和感興趣區域回歸損失，無監督損失是基于無標簽圖像及教師模型通過弱增強圖像得到的標簽，計算區域生成網絡分類損失、區域生成網絡回歸損失、感興趣區域分類損失和感興趣區域回歸損失。

3.根據權利要求1所述的基于二階段物體檢測器的半監督物體檢測訓練方法，其特征在于：所述學生模型更新教師模型，是將學生模型的參數，通過指數移動平均EMA策略對教師模型的參數進行更新。

4.根據權利要求2所述的基于二階段物體檢測器的半監督物體檢測訓練方法，其特征在于：所述步驟S2中，無監督分支中的感興趣區域分類損失采用軟交叉熵：

其中，表示無標簽圖像中，用于訓練的候選框的數量，表示學生模型在第j個候選框上的預測結果，表示動態閾值化機制為該候選框生成的軟標簽，和均為N+1維向量，N表示數據集中前景類的數量。

5.一種基于二階段物體檢測器的半監督物體檢測方法，其特征在于，所述方法包括：

基于權利要求1至4任一項所述的基于二階段物體檢測器的半監督物檢測訓練方法訓練獲得學生模型；

將待檢測的物體圖像輸入訓練好的所述學生模型，得到物體類別。

6.一種基于二階段物體檢測器的半監督物體檢測裝置，其特征在于：包括存儲器和一個或多個處理器，所述存儲器中存儲有可執行代碼，所述一個或多個處理器執行所述可執行代碼時，用于實現權利要求5中所述的基于二階段物體檢測器的半監督物體檢測方法。