[發明專利]一種基于多尺度特征加權的小樣本目標檢測方法

有效

• 申請號: 202011237385.5
• 申請日: 2020-11-09
• 公開（公告）號: CN112464743B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 蔣雯;張子涵;耿杰;鄧鑫洋
• 申請（專利權）人: 西北工業大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多尺度特征加權的小樣本目標檢測方法,其特征在于：其包括以下步驟：

步驟一、實驗采用PASCAL?VOC數據集，將數據集分為基本類別和小樣本類別兩種：

步驟101、將VOC?07train/val和VOC?12train/val中的所有數據統一作為訓練集，將VOC?07test中數據作為實驗用的測試集；

步驟102、將VOC數據集共20個類別中隨機抽取5個類別作為小樣本類別用于微調過程，其余15個類別作為基本類別用于基本訓練過程；

步驟103、15個基本類別用于模型的基本訓練，在完成基本訓練后用所有20類別一起進行少量迭代的微調得到最后的檢測模型；

步驟二、基本訓練過程使用15類基本類別進行訓練，先構建darknet特征提取網絡，用于提取輸入圖片的圖像特征：

步驟201、構建的darknet網絡為基礎網路，其包括5個卷積模塊和7層卷積層構成，5個卷積模塊分別由1、1、3、3、5個卷積層后接上一層最大值池化層構成；

步驟202、通過基礎網絡提取圖片中的特征，此時網絡輸出小尺度的特征F用于后續的特征融合；

步驟三、構建特征分支網絡，讓多尺度的圖片特征進行融合：

步驟301、模型中構建三處特征分支網絡，分支網絡將多個尺度的特征連接到一起以獲得更全面的目標信息；

步驟302、設計的特征分支網絡由一層卷積層和一層特征尺度調節層構成，卷積層用于將不同維度的特征圖進行適當降維，尺度調節層將不同尺度的特征層調節成相同尺度便于融合；

步驟303、方法使用特征分支網絡將第三個卷積模塊中的第三層卷積層特征F₁、第四個卷積模塊中的第三個卷積層特征F₂、和第五個卷積模塊中的第五個卷積層的特征F₃與主干網絡提取的圖像特征F進行融合獲得最終的特征圖；

步驟四、構建類別權重生成網絡用于預測每個類別對應的權重向量：

步驟401、權重生成網絡輸入為每個類別的圖片，輸出為每個類別對應的權重向量W_i；

步驟402、權重生成網絡由六個卷積模塊構成，每個模塊包括一個卷積層和一個最大值池化層；

步驟五、基于類別權重向量的特征加權過程，通過類別權重向量對融合后的特征進行加權處理，讓目標的特征更貼近其真實類別：

步驟501、將由步驟三獲得的融合特征通過一層卷積層降維到類別權重的維度；

步驟502、將類別權重對融合特征進行1×1通道數不變的卷積得到加權后的特征F_w；

步驟503、將加權后的特征進一步降維為到30維特征F₃₀，對于每個邊界框模型預測6維度參數(o,x,y,h,w,c)，其中o為置信度、x為錨點的x坐標、y為錨點的y坐標、h為邊界框的高、w為邊界框的寬、c為目標的類別；由于每個錨點預先設定5種長寬比的邊界框，所以每個錨點共預測30維參數；

步驟六、利用降維后的特征F₃₀進行回歸預測，獲得最終的檢測結果：步驟601、將降維后的特征F₃₀圖輸入檢測模塊進行預測；

步驟602、訓練過程中對于置信度o使用均方差損失L_obj公式如下：

其中p_i為網絡的預測值，t_i表示為相應的標簽真實值；

步驟603、對于邊界框坐標x、y、w、h，模型同樣使用均方差損失，L_bbox損失如下：

網絡對bbox的每一維坐標都計算相應的損失，總體的邊界框損失為四個坐標損失的總和，其中x_i、y_i、w_i、h_i為網絡的預測值，X_i、Y_i、W_i、H_i為其真實值；

步驟604、模型訓練過程中使用改進的mFocalLoss作為分類損失公式如下：

其中p_i為網絡的預測值，y＝1表示預測的目標為正類，0表示預測的目標為負類，其中N為我們定義的一個超參數，其計算方式為為一個批次中正類預測的個數除以所有預測的數量，這樣一個自適應的正則化項相比于傳統的FocalLoss損失中使用定值正則化項能更好的適應不同訓練樣本而造成的正負樣本比例波動問題；自適應的正則化項能根據不同情況下的正負樣本比例自適應的調整正負樣本損失的占比；

步驟605、網絡訓練的總損失Loss公式如下：

Loss＝L_obj+L_bbox+L_mFocalLoss

網絡最終的損失由置信度損失、邊界框損失和分類損失三部分構成；

步驟606、在基本類別上訓練完成訓練后得到基本類別的模型M_base，接下來將在基本類別模型的基礎上進行小樣本類別的微調訓練；

步驟七、微調過程使用數據集中全部20個類別的少量樣本進行微調，網絡模型不變并且使用M_base，每個類別只有1，2，3，5或10張圖片；進行少量幾個迭代過程得到最終的小樣本檢測模型；通過微調好的小樣本檢測模型，我們可以得到小樣本條件下的最終檢測結果。