[發明專利]一種基于多任務生成對抗網絡的真實場景小物體檢測方法

有效

• 申請號: 201810842331.8
• 申請日: 2018-07-27
• 公開（公告）號: CN109145958B
• 公開（公告）日: 2019-11-08
• 發明（設計）人: 張永強;丁明理;李賢;楊光磊;董娜;朱樂熠;白延成
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 安琪

1.一種基于多任務生成對抗網絡的真實場景小物體檢測方法，其特征在于，所 述檢測方法包括：

步驟一：確定一個訓練樣本集，并利用所述訓練樣本集訓練一個物體檢測器；所述訓練樣本集中包含多張圖像；

步驟二：利用所述物體檢測器為多任務生成對抗網絡截取產生訓練樣本；

步驟三：根據所述訓練樣本構建多任務生成對抗網絡訓練樣本；所述多任務生成對抗網絡訓練樣本中包括正訓練樣本和負訓練樣本；

步驟四：將截取產生的訓練樣本作為高分辨率圖像，利用雙線性插值法將所述高分辨率圖像下采樣4倍獲得的圖像作為相應的低分辨率圖像；

步驟五：分別建立以低分辨率圖像為輸入的生成器網絡和以高分辨率圖像作為輸入的具有分類分支和位置回歸分支結構的鑒別器網絡；

步驟六：利用所述生成器網絡和鑒別器網絡并結合步驟四所述正訓練樣本和負訓練樣本對多任務生成對抗網絡進行訓練；所述多任務生成對抗網絡訓練好后獲得小物體檢測網絡；

步驟七：將待檢測圖片輸入所述小物體檢測網絡中，所述小物體檢測網絡根據待檢測圖片中的小物體圖像生成對應的高分辨的物體圖像，進而完成真實場景下的小物體檢測任務；

所述多任務生成對抗網絡的目標函數中引入分類損失函數和位置回歸損失函數，所述目標函數的形式如下：

其中，

(x,y)為被截取訓練樣本左上角的像素坐標，(w,h)表示取向區域的寬和高；θ,ω分別為鑒別器和生成器的網絡參數；D_θ,G_ω分別是鑒別器和生成器的功能函數，分別是輸入的低分辨率圖像和對應的高分辨率圖像，α是目標函數中對抗損失函數與像素級損失函數的權值分配系數，N是訓練樣本總數，v_i＝(v_i,x,v_i,y,v_i,w,v_i,h)是物體位置真值信息的回歸目標值，t_i＝(t_i,x,t_i,y,t_i,w,t_i,h)是預測的物體位置信息，分別表示第i個高分辨率真值圖像和生成的高分辨率圖像，當u_i≥1時，[u_i≥1]等于1，否則等于0，β,γ分別是分類損失函數和位置回歸損失函數的權重系數。

2.根據權利要求1所述真實場景小物體檢測方法，其特征在于，步驟一所述訓練樣本集采用Microsoft COCO數據集，并將Microsoft COCO數據集中的115K數據作為訓練集樣本，將Microsoft COCO數據集中的5K數據作為驗證集樣本，將Microsoft COCO數據集中的5K數據作為測試集樣本；

所述訓練樣本中的物體圖像根據面積大小分為較大、中等和較小三個大小檔次，其中較大的物體圖像是指面積大于96×96像素的圖像；中等的物體圖像是指面積大于32×32像素，小于96×96像素的圖像；較小的圖像是指面積小于32×32像素的圖像。

3.根據權利要求1或2所述真實場景小物體檢測方法，其特征在于，步驟二所述物體檢測器為多任務生成對抗網絡截取產生訓練樣本的具體過程包括：

第一步：利用所述物體檢測器對訓練樣本集中的每一張圖像進行物體位置信息預測；

第二步：在每一張進行了物體位置信息預測后的圖像中截取600個最有可能包含物體的區域圖像；

第三步：將所截取的圖像區域進行保存，保存后的區域圖像作為所述多任務生成對抗網絡的訓練樣本。

4.根據權利要求1所述真實場景小物體檢測方法，其特征在于，步驟三所述多任務生成對抗網絡訓練樣本的構建過程為：

求取所述訓練樣本中每一個區域圖像與圖像中標注的物體位置真值的重疊面積，如果所述重疊面積大于0.5則將所述區域圖像標記為物體圖像；所述物體圖像即為正訓練樣本；如果所述重疊面積小于0.45則將所述區域圖像標記為背景圖像；所述背景圖像即為負訓練樣本；所述正訓練樣本和背景圖像即為所述多任務生成對抗網絡訓練樣本。