[發明專利]一種用于目標檢測器模型訓練過程中的免除采樣方法

在審

• 申請號: 202010070199.0
• 申請日: 2020-01-21
• 公開（公告）號: CN111291796A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 徐童;陳卓;劉東;陳恩紅;吳世偉
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平

本發明提出一種用于目標檢測器模型訓練過程中的免除采樣方法，包括如下步驟：步驟1：最優偏差初始化，有偏地初始化檢測器模型網絡輸出預測張量的卷積層的偏置，使得檢測器的分類損失被在訓練開始階段被初始化為極小值點；步驟2：設計目標檢測器訓練的指導性損失函數，使用目標檢測中的邊框回歸損失指導確定分類損失縮放的比例，通過比例計算使得分類損失與邊框回歸損失在數值上時刻相等；步驟3：設置目標檢測器模型訓練類別的自適應閾值，計算數據集中統計的類別的數量和所有類別的數量的比值與正負樣本數量的比值的乘積，根據某類別的數量和所有類別的數量的比值自適應的確定閾值。

技術領域

本發明涉及深度學習和計算機視覺領域，尤其涉及目標檢測模型訓練中的采樣方法。

背景技術

目標檢測中存在多種多樣的不平衡，這些不平衡會影響最終的檢測精度。最常見的比如類別不平衡，主要由樣本數量上的差別引起。最典型的是前景和背景的不平衡，即訓練過程中的正例數量遠遠小于負例數量引起的不平衡。

圍繞這個研究問題，在傳統解決方案中，消除這種類別不平衡的解決辦法通常有三種：1.閾值偏移：降低數量少的類別的閾值。2.啟發式采樣：對于特定類別采用有偏選擇，比如下采樣和過采樣。啟發式的采樣通常會改變數據的分布，導致了訓練過程和推理過程中存在數據分布不一致的問題。3.用集成學習的方法來獲得更魯棒的模型。其中啟發式采樣的方法大致分為兩類：1.硬采樣方法(通常用于二階段的目標檢測)，比如欠采樣、OHEM和IoU平衡采樣；2.軟采樣方法(通常用于一階段的目標檢測和anchor-free的目標檢測器)，比如Focal Loss和GHM。這些方法會引入復雜的超參數調整過程。

在現有的目標檢測框架中，采樣方法被廣泛使用，其目的是解決訓練中的正負樣本的極端不平衡。然而，采樣方法將引入繁瑣的超參數調節，且將改變原始的數據分布，制約了檢測器模型精度的提升。

發明內容

為了解決以上技術問題，本發明提供了一種用于目標檢測器模型訓練過程中的免除采樣方法，通過最優偏置初始化、指導性損失、類別自適應閾值三個策略來代替采樣方法，且不引入新的超參數。避免了啟發式采樣中復雜的超參數調整過程。本發明相比于啟發式采樣，可以減少超參數的引入，同種檢測器采用這種機制，在COCO數據集上的準確度也更高。

本發明的技術方案為：一種用于目標檢測器模型訓練過程中的免除采樣方法，包括如下步驟：

步驟1：最優偏差初始化，有偏地初始化檢測器模型網絡輸出預測張量的卷積層的偏置，使得檢測器的分類損失被在訓練開始階段被初始化為極小值點；

步驟2：設計目標檢測器訓練的指導性損失函數，使用目標檢測中的邊框回歸損失指導確定分類損失縮放的比例，通過比例計算使得分類損失與邊框回歸損失在數值上時刻相等；

步驟3：設置目標檢測器模型訓練類別的自適應閾值，計算數據集中統計的類別的數量和所有類別的數量的比值與正負樣本數量的比值的乘積，根據某類別的數量和所有類別的數量的比值自適應的確定閾值，進行模型訓練。

進一步的，所述步驟1具體包括：

最優偏差初始化具體為：假設數據集中有C類目標種類，N個樣本，其中有N_f個前景樣本，則在訓練開始階段，使用交叉熵分類損失的損失函數L^CE改寫成：

其中，公式的前一項-log(π)是前景損失，后一項是背景損失；

公式(1)的導數為：

當時，L^CE取得極小值，由σ(b)≈π求得初始化偏置應為：

進一步的，所述步驟2具體包括：