[發(fā)明專利]一種基于深度學習的無人機航拍圖像中的車輛檢測方法

有效

• 申請?zhí)枺?/td>: 201910306620.0
• 申請日: 2019-04-17
• 公開（公告）號: CN110298227B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設計）人: 孫涵;楊健;沈家全
• 申請（專利權(quán)）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F16/50;G06N3/04
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 施昊

1.一種基于深度學習的無人機航拍圖像中的車輛檢測方法，其特征在于，包括以下步驟：

(1)采集無人機航拍圖像，并對其中的車輛進行標注，獲得車輛數(shù)據(jù)庫；

(2)將獲得的車輛數(shù)據(jù)庫送入深度學習網(wǎng)絡進行訓練，直至深度學習網(wǎng)絡收斂；

所述深度學習網(wǎng)絡為改進的Faster R-CNN網(wǎng)絡，改進的Faster R-CNN網(wǎng)絡結(jié)構(gòu)如下表所示：

訓練數(shù)據(jù)或測試數(shù)據(jù)從第0層卷積層輸入網(wǎng)絡，依次經(jīng)過0,1,2,…,23層處理，最終從第23層全連接層輸出；

(3)利用訓練好的深度學習網(wǎng)絡和權(quán)重文件來檢測測試圖像中的車輛目標，并輸出檢測結(jié)果。

2.根據(jù)權(quán)利要求1所述基于深度學習的無人機航拍圖像中的車輛檢測方法，其特征在于，在步驟(1)中，對采集的無人機航拍圖像進行預處理：丟掉不包含車輛目標的圖像以及車輛目標顯示不到一半的圖像，然后對剩余的每張圖像進行裁剪、旋轉(zhuǎn)和標記。

3.根據(jù)權(quán)利要求2所述基于深度學習的無人機航拍圖像中的車輛檢測方法，其特征在于，在步驟(1)中，將每張航拍圖像經(jīng)過有重疊地裁剪得到若干圖片塊，將每個圖片塊進行45°、135°、225°、315°旋轉(zhuǎn)。

4.根據(jù)權(quán)利要求1所述基于深度學習的無人機航拍圖像中的車輛檢測方法，其特征在于，步驟(2)的具體過程如下：

(201)將車輛數(shù)據(jù)庫作為訓練數(shù)據(jù)送入改進的Faster R-CNN網(wǎng)絡，選取ImageNet數(shù)據(jù)庫訓練好的VGG16模型作為預訓練模型，設置網(wǎng)絡訓練的學習率迭代次數(shù)以及batch size值；

(202)訓練數(shù)據(jù)首先經(jīng)過卷積層，之后分別送入連接層和融合層，然后連接層和融合層輸出的特征圖在超融合層結(jié)合成為高層共享特征圖；

(203)將高層共享特征圖輸入RPN網(wǎng)絡，首先經(jīng)過3*3卷積、1*1卷積，生成anchor，然后通過softmax分類器提取前景anchors，再對前景anchors進行邊界框回歸，最后在proposal層生成候選框；

(204)將步驟(202)中產(chǎn)生的高層共享特征圖與步驟(203)中產(chǎn)生的候選框數(shù)據(jù)輸入RoI池化層，使得高層共享特征圖中的候選框區(qū)域成為固定長度的輸出特征；

(205)將步驟(204)中產(chǎn)生的輸出特征通過全連接層與softmax層，計算每個候選框含有車輛的概率，同時利用邊界框回歸獲得每個候選框的位置偏移量，用于回歸更加精確的目標檢測框；

(206)當達到最大迭代次數(shù)時或損失圖像中損失達到了收斂狀態(tài)時，結(jié)束訓練，獲得用于車輛檢測的改進的Faster R-CNN網(wǎng)絡和權(quán)重文件。

5.根據(jù)權(quán)利要求4所述基于深度學習的無人機航拍圖像中的車輛檢測方法，其特征在于，在步驟(202)中，將深度學習網(wǎng)絡的第9層、第13層和第15層提取的特征送入連接層，在連接層中進行Concat操作，在不同維度的特征映射上執(zhí)行特征融合；將深度學習網(wǎng)絡的第9層、第13層和第15層提取的特征送入融合層，在融合層中進行Eltwise操作，融合多級特征；將連接層和融合層輸出的特征圖在超融合層通過Eltwise操作合并。

6.根據(jù)權(quán)利要求4所述基于深度學習的無人機航拍圖像中的車輛檢測方法，其特征在于，在步驟(203)中，使用的anchor尺寸包括64*32、128*64、192*96、32*32、64*64、96*96、32*64、64*128和96*192。

7.根據(jù)權(quán)利要求4所述基于深度學習的無人機航拍圖像中的車輛檢測方法，其特征在于，步驟(3)的具體過程如下：

(301)將測試圖像送入改進的Faster R-CNN網(wǎng)絡，按照步驟(203)得到高層共享特征圖；

(302)將高層共享特征圖送入RPN網(wǎng)絡，得到的輸出再與高層共享特征圖一起送入全連接層做預測，最終輸出預測邊界框，得到每個邊界框的回歸位置和置信度；

(303)設置一個閾值，過濾低分邊界框，使用非極大值抑制法處理剩余邊界框，之后通過分類器得到最終的檢測結(jié)果。

8.根據(jù)權(quán)利要求1-7任意一項所述基于深度學習的無人機航拍圖像中的車輛檢測方法，其特征在于，測試圖像輸入深度學習網(wǎng)絡之前，先進行有重疊地裁剪，保證每個圖片塊邊沿的車輛總能在其余圖片塊中有完整的外觀。