[發(fā)明專利]基于孿生RPN的異源匹配方法

在審

• 申請?zhí)枺?/td>: 202011209060.6
• 申請日: 2020-11-03
• 公開（公告）號: CN112802056A
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計）人: 沈家瑞;林偉;金樂軒;隋修寶;李悟馨;陳錢;顧國華
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62;G06N3/04
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 朱沉雁

1.一種基于孿生RPN的異源匹配方法，其特征在于，包括以下步驟：

步驟1、在相同場景下，分別采集可見光圖像和紅外光圖像，以可見光圖像為模板幀，以紅外光圖像為檢測幀，在可見光圖像中通過錨點框選擇目標(biāo)，轉(zhuǎn)入步驟2；

步驟2、將模板幀和檢測幀同時輸入到孿生特征提取網(wǎng)絡(luò)中，通過全卷積網(wǎng)絡(luò)對應(yīng)提取模板幀的高層特征以及檢測幀的高層特征，轉(zhuǎn)入步驟3；

步驟3、將模板幀的高層特征分別輸入到候選區(qū)域網(wǎng)絡(luò)的分類支路和回歸支路中，同時將檢測幀的高層特征分別輸入到候選區(qū)域網(wǎng)絡(luò)的分類支路和回歸支路中，

在回歸支路中，模板幀的高層特征和檢測幀的高層特征進(jìn)行卷積運算，得到錨點框的偏移量(dx，dy，dw，dh)；

在分類支路中，模板幀的高層特征和檢測幀的高層特征進(jìn)行卷積運算，分類支路得到是否為目標(biāo)，若為目標(biāo)，則轉(zhuǎn)入步驟4，否則剔除；

步驟4、根據(jù)回歸支路中的偏移量(dx，dy，dw，dh)，確定錨點框的中心點(dx，dy)和大小(dw，dh)，其中w表示寬度，h表示高度，轉(zhuǎn)入步驟5；

步驟5、根據(jù)得到的目標(biāo)及其對應(yīng)的錨點框的中心點(dx，dy)和大小(dw，dh)，實現(xiàn)在紅外光圖像中框住可見光圖像中的目標(biāo)。

2.根據(jù)權(quán)利要求1所述的基于孿生RPN的異源匹配方法，其特征在于：上述步驟3中，在分類支路和回歸支路中進(jìn)行卷積運算，具體步驟為：

步驟3-1)、分別計算分類支路和回歸支路中的卷積：

分類支路中，

回歸支路中，

其中，分類支路中的模板特征圖和回歸支路中的模板特征圖均作為內(nèi)核，表示分類支路中的檢測幀，表示回歸支路中的檢測幀，cls表示分類支路，reg表示回歸支路，k表示錨點框個數(shù)，*表示卷積操作，A表示分類支路模板特征圖與回歸之路模板特征圖進(jìn)行卷積計算得到的卷積結(jié)果；

同時轉(zhuǎn)入步驟3-2)和3-3)；

步驟3-2)、對和分別進(jìn)行歸一化處理，得到歸一化結(jié)果δ[i]，i＝0，1，2，3；

其中，A_x表示錨點框的中心點橫坐標(biāo)，A_y表示錨點框的中心點縱坐標(biāo)，A_w表示錨點框?qū)挾龋珹_h表示錨點框的高度，T_x表示正確標(biāo)注的框的中心點橫坐標(biāo)，T_y表示正確標(biāo)注的框的中心點縱坐標(biāo)，T_w表示正確標(biāo)注的框的寬度，T_h表示正確標(biāo)注的框的高度；

轉(zhuǎn)入步驟3-4)；

步驟3-3)、計算通過smoothL1的損失函數(shù)smooth_L1(x，σ)，用于回歸：

其中，x表示距離損失函數(shù)坐標(biāo)軸中軸的距離，σ表示歸一化的標(biāo)準(zhǔn)量大小；

轉(zhuǎn)入步驟3-4)；

步驟3-4)、根據(jù)歸一化結(jié)果δ[i]和smooth_L1(x，σ)，得到最終的回歸函數(shù)L_reg：

3.根據(jù)權(quán)利要求1所述的基于孿生RPN的異源匹配方法，其特征在于：所述步驟3中，分類支路中，錨點框采用五種不同的長寬比，分別為0.33、0.5、1、2、3，當(dāng)準(zhǔn)確度IOU≥0.6時，為目標(biāo)；當(dāng)IOU＜0.6時，為背景，直接剔除。

4.根據(jù)權(quán)利要求1所述的基于孿生RPN的異源匹配方法，其特征在于：所述步驟5中，使用非極大值抑制的方法對最后輸出的錨點框進(jìn)行篩選，最終得到紅外光圖中的目標(biāo)。