[發明專利]基于二階段物體檢測器的半監督物檢測及訓練方法、裝置

有效

• 申請號: 202210812617.8
• 申請日: 2022-07-12
• 公開（公告）號: CN114882325B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 程樂超;李冠彬;王闊
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/778;G06V20/70
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝;楊小凡

本發明公開了基于二階段物體檢測器的半監督物檢測及訓練方法、裝置，在半監督物體檢測中，IoU匹配在訓練階段起到了篩選候選框和標注候選框的作用。由于偽標簽無法囊括所有的前景物體，導致篩選候選框時，僅能選取到較為簡單的前景物體。被錯誤分類為背景的前景物體，難以參與到訓練中。此外，由于偽標簽也存在著錯誤，導致IoU匹配對候選框進行錯誤標注，而錯誤的偽標簽，將導致所有與其重合度較高的候選框產生標注錯誤問題。本發明通過構建合理選擇機制和動態閾值化機制，分別解決了IoU匹配中的篩選和錯誤標注問題。本發明實現方法簡便，手段靈活，在匹配方面具有優勢，因此提升了半監督物體檢測的效果。

技術領域

本發明涉及圖像識別技術領域，尤其是涉及基于二階段物體檢測器的半監督物檢測及訓練方法、裝置。

背景技術

得益于大規模標注數據集的出現，深度學習在各個領域都取得了出色的成果。然而，獲取大規模的標注數據往往需要耗費大量的人力和財力，于是，半監督學習受到了越來越多的研究。半監督學習，指在有限的標注數據的基礎上，利用無標注數據來提升模型的性能。在計算機視覺領域，半監督學習的研究主要集中于圖像分類任務，這些半監督技術從圖像分類到物體檢測的遷移仍舊存在著很多懸而未決的問題。

當今的半監督物體檢測方法主要遵循了基于一致性的偽標簽策略。這項策略在半監督圖像分類任務上取得了驚人的效果。基于一致性的偽標簽策略，指對無標注圖像分別進行強弱增強，先使用模型在弱增強圖像上生成置信度較高的偽標簽，然后再結合強增強圖像和偽標簽來訓練模型。為了進一步地增強這個策略的效果，訓練過程建立在教師-學生（Teacher-Student）框架之上。具體來講，模型會被復制為相互獨立的兩個模型，一個作為教師Teacher模型，另一個作為學生Student模型。教師Teacher模型用于生成偽標簽，學生Student模型則用于訓練。訓練導致的參數更新將會直接作用于學生Student模型，然后在每次迭代之后，學生Student模型將會通過EMA（Exponential Moving Average，指數移動平均）參數更新策略來將一小部分參數傳遞給教師Teacher模型。

上述方案在圖像分類任務上取得了巨大的成果，然而，將其應用于物體檢測任務上時，卻沒能取得耀眼的性能提升。其他的方法將效果不夠好的原因歸結于偽標簽的質量不夠高，畢竟物體檢測任務的標注比圖像分類任務要復雜很多。于是，很多提升偽標簽質量的方案被設計出來，但是其效果始終不盡人意。這是因為，現存的半監督物體檢測方法都沒能注意到至關嚴重的IoU（Intersection overUnion，交并比）匹配問題。

如圖1a、圖1b所述，現有方法都沒能注意到至關重要的IoU匹配問題。以二階段物體檢測器為例，IoU匹配是訓練過程中不可或缺的操作。具體而言，在二階段物體檢測器的訓練過程中，RPN（Region Proposal Network，區域生成網絡）首先生成包括所有可能前景的候選框，這些候選框被送入ROI Head（感興趣的區域頭部）部分用于訓練。ROI Head拿到所有的候選框之后，會將這些候選框與圖像的標注進行IoU匹配。IoU分值較高，說明該候選框與標注框的重疊程度較高，于是，該候選框將會被賦予和對應的標注框一致的標簽。如果候選框與所有的標注框的IoU分值都不夠高，那么該候選框會被當作背景來處理。標注完所有的候選框之后，模型會按比例從中篩選前景框和背景框用于訓練。上述IoU匹配過程有一項前提，那就是標注框要100%正確，否則，IoU匹配將會導致錯誤標注問題。很明顯，在無標注圖像上，其偽標簽必然無法做到高度準確，基于偽標簽，IoU匹配始終會對候選框產生大量的錯誤標注，圖1a中，實線框是偽標簽，虛線框是訓練時的候選框，生成偽標簽時所用的閾值較高，導致偽標簽召回率降低，使得IoU匹配把圖中的前景錯分為背景，圖1b中，生成偽標簽時所使用的閾值較低，導致偽標簽的準確率低，使得IoU匹配給圖中的物體賦予錯誤的標簽。現有的方法均未能注意到IoU匹配在無標注數據上存在的巨大隱患，使得這些方法始終無法取得突破性的提升。