[發明專利]一種針對密集區域的兩階段遙感圖像目標檢測方法

有效

• 申請號: 202010030047.8
• 申請日: 2020-01-13
• 公開（公告）號: CN111259758B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 趙佳琦;朱東郡;夏士雄;周勇;姚睿;陳瑩;張迪
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V20/17;G06V10/46;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 劉珊珊

1.一種針對密集區域的兩階段遙感圖像目標檢測方法，其特征在于：包括如下步驟：

(a)圖像數據增強

對原始訓練集中的每一張原始圖像均依次進行旋轉變換、反射變換、平移變換和對比度變換，最后把原始圖像和變換后的圖像統一成深度殘差網絡設定的輸入尺寸，把統一尺寸后的圖像作為對原始訓練集數據增強后的訓練集；

(b)構建多尺度特征提取模塊

使用深度殘差網絡對訓練集中的圖像進行多尺度特征提取，將深度殘差網絡中的第三卷積塊、第四卷積塊、第五卷積塊的最后一張特征圖通過上采樣的方式分別拼接到第二卷積塊、第三卷積塊、第四卷積塊的最后一張特征圖上，從而增加第二卷積塊、第三卷積塊、第四卷積塊的最后一張特征圖的語義性，并形成用于目標檢測的特征金字塔；

訓練時采用遷移學習策略，向深度殘差網絡導入經ImageNet數據集訓練好的網絡參數，將訓練好的網絡參數作為深度殘差網絡的初始化參數；

(c)對不同尺度的特征圖像進行目標檢測

在特征金字塔的每個像素點上設置不同尺寸的預定義邊框，對預定義邊框進行前景與背景的分類和位置回歸得到初步預測邊框，對所有初步預測邊框采用非極大值抑制的方法進行篩選，再根據初步預測邊框的前景概率值從篩選結果中選擇出前景概率值最高的k₁個初步預測邊框作為初步預測前景邊框；

(d)計算目標密集區域

對特征金字塔中的特征圖進行區域劃分，找出包含初步預測前景邊框數量最多的區域，并將該區域映射到原始圖像的對應區域上；

(e)對目標密集的區域進行二次目標檢測

裁剪出原始圖像的對應區域，將裁減出的原始圖像縮放到深度殘差網絡設定的輸入尺寸，并通過多尺度特征提取模塊形成特征金字塔，在形成的特征金字塔的每個像素點上設置不同尺寸的預定義邊框，對預定義邊框進行前景與背景的分類和位置回歸得到二次預測邊框，對所有二次預測邊框采用非極大值抑制的方法進行篩選，再根據二次預測邊框的前景概率值從篩選結果中選擇出前景概率值最高的k₂個二次預測邊框作為二次預測前景邊框；

(f)獲取目標的檢測和識別結果

對初步預測前景邊框和二次預測前景邊框進行非極大值抑制操作過濾掉交并比大于設定閾值的預測前景邊框，再根據前景概率值從過濾結果中選擇出前景概率值最高的k₃個預測前景邊框作為可能為目標的區域，將這些可能為目標的區域作為預選邊框，對預選邊框所在的特征區域進行池化，統一目標特征的大小；

將統一大小后的目標特征分別放入兩個全連接層后分別連接一個用于分類的分類輸出層和一個用于位置回歸的回歸輸出層，將分類輸出層輸出的類別概率值和位置回歸層輸出的位置信息共同作為目標預測邊框，根據目標預測邊框的位置信息和類別概率值對目標預測邊框進行非極大值抑制過濾后，選擇出類別概率值最大的k個目標預測邊框作為目標的識別結果；進行非極大值抑制時通過設置邊框的交并比閾值來調節過濾的程度。

2.根據權利要求1所述的針對密集區域的兩階段遙感圖像目標檢測方法，其特征在于：所述步驟(b)中，將深度殘差網絡中的第三卷積塊、第四卷積塊、第五卷積塊的最后一張特征圖通過上采樣的方式拼接到第二卷積塊、第三卷積塊、第四卷積塊最后一張特征圖上，形成特征金字塔(P2，P3，P4，P5)，具體方法為：

特征圖P5：第5個卷積塊的最后一張特征圖經過膨脹率為2的空洞卷積，生成特征圖P5；

特征圖P4：先上采樣第5個卷積塊的最后一張特征圖，再經過膨脹率為2的空洞卷積，接著與第4個卷積塊的最后一張特征圖進行拼接，最后經過一個卷積層生成特征圖P4；

特征圖P3：先上采樣第4個卷積塊中間層的特征圖，再與特征圖P4和第3個卷積塊的最后一張特征圖進行拼接，生成特征圖P3；

特征圖P2：先上采樣特征圖P3，再與第2個卷積塊的最后一張特征圖進行拼接，生成特征圖P2。