[發明專利]一種無人機視角下的可見光-熱紅外圖像目標檢測方法

在審

• 申請號: 202210577635.2
• 申請日: 2022-05-25
• 公開（公告）號: CN114973031A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 楊文;張妍;賀鈺潔;余淮;余磊
• 申請（專利權）人: 武漢大學
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V10/80;G06V10/25;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種無人機視角的可見光-熱紅外圖像目標檢測方法，其特征在于，包括以下步驟：

步驟1，將可見光-熱紅外圖像對進行數據前處理；

步驟2，將前處理后的可見光-熱紅外圖像對輸入至特征提取與融合網絡中獲取多尺度共享融合特征；

所述特征提取與融合網絡包括三個分支，可見光和紅外分支，以及共享融合分支；其中可見光和紅外分支網絡結構相同，由一個卷積層和4個殘差層構成，共享融合分支的網絡由4個殘差層構成，分別記為殘差層1、殘差層2、殘差層3、殘差層4，每個分支的4個殘差層后面增加一個信息聚合與分配模塊，用于利用互補信息加強三個分支的特征，加強后的可見光、熱紅外特征和共享融合特征輸入到下一層進行進一步的學習，另外將4個加強后的共享融合特征輸入至特征金字塔網絡中，特征金字塔網絡融合多尺度信息，輸出多尺度的共享融合特征；

步驟3，利用候選區域生成網絡在多尺度共享融合特征上生成感興趣區域，即目標區域；

步驟4，利用感興趣區域池化層提取出感興趣區域的特征，將感興趣區域特征輸入至回歸和分類預測網絡中，得到目標的預測結果。

2.根據權利要求1所述的一種無人機視角的可見光-熱紅外圖像目標檢測方法，其特征在于：步驟1中所述前處理是指隨機區域替換的數據增強方法，以0.5的概率隨機確定是否進行替換，若替換則隨機取可見光-熱紅外圖像對上一塊固定大小的區域，并將可見光圖像和熱紅外圖像對應區域的圖像進行裁剪和交換。

3.根據權利要求1所述的一種無人機視角的可見光-熱紅外圖像人體目標方法，其特征在于：所述的特征提取與融合網絡的具體處理過程包括以下步驟；

步驟21，將可見光圖像輸入至可見光分支，熱紅外圖像輸入至熱紅外分支，并生成一個維度與可見光圖像和熱紅外圖像相同的0張量輸入至共享融合分支；

步驟22，可見光圖像和熱紅外圖像分別通過一個卷積層和殘差層1得到可見光特征圖和熱紅外特征圖，0張量通過殘差層得到共享融合特征圖；

步驟23，將可見光特征圖、熱紅外特征圖、共享融合特征圖輸入到信息聚合與分配模塊，得到加強后的可見光、熱紅外特征，以及共享融合特征1；

步驟24，加強后的可見光、熱紅外特征分別通過殘差層2，然后再輸入到信息聚合與分配模塊，得到再次加強后的可見光、熱紅外特征，以及另一尺度的共享融合特征2；

步驟25，重復步驟24兩遍；

步驟26，將4個加強后的共享融合特征輸入至特征金字塔網絡中，特征金字塔網絡融合多尺度信息，輸出多尺度的共享融合特征。

4.根據權利要求1所述的一種無人機視角的可見光-熱紅外圖像目標檢測方法，其特征在于：4個殘差層分別由3、4、6、3個bottleneck結構堆疊組成，一個bottleneck結構中包含三個卷積層。

5.根據權利要求1所述的一種無人機視角的可見光-熱紅外圖像目標檢測方法，其特征在于：在殘差層2、殘差層3、殘差層4引入可形變卷積，即將殘差層中bottleneck結構的第二個卷積層更改為可形變卷積層，在可形變卷積層中，先使特征圖過一個常規的卷積層，輸出偏移量感受野，其空間分辨率與原特征圖相同，通道數為2N，代表了N個位置的二維偏移，再將這N個位置的偏移量加到原卷積核對應位置上，就得到了可形變卷積。