[發(fā)明專利]一種可見(jiàn)光/紅外圖像多平臺(tái)分布式融合多目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110058826.3
• 申請(qǐng)日: 2021-01-17
• 公開(kāi)（公告）號(hào): CN112861924B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 顧一凡;程詠梅;雷鑫華;莊若望
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06V10/762
• 分類號(hào): G06V10/762;G06V10/80;G06V10/774;G06V10/764;G06V20/13
• 代理公司: 西安凱多思知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 劉新瓊

1.一種可見(jiàn)光/紅外圖像多平臺(tái)分布式融合多目標(biāo)檢測(cè)方法，其特征在于，包括以下步驟：

步驟1：構(gòu)建基于FSSD的可見(jiàn)光航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)和基于FSSD的紅外航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)；

步驟1-1：構(gòu)建基于FSSD的可見(jiàn)光航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)，對(duì)FSSD網(wǎng)絡(luò)結(jié)構(gòu)做出如下修改：

步驟1-1-1：將輸入圖像的大小從300*300修改為640*640；

步驟1-1-2：在FSSD網(wǎng)絡(luò)的VGG16結(jié)構(gòu)后，增加大小為20*20*512的Conv6_2融合層級(jí)，并將Conv6_2融合層級(jí)提出的特征圖送入到特征融合模塊；

步驟1-1-3：在特征融合模塊中，將特征融合層尺寸大小從38*38改為80*80；

步驟1-1-4：將檢測(cè)層級(jí)中的fea_concat_bn_ds_16和fea_concat_bn_ds_32兩個(gè)層級(jí)中的padding改為1，步長(zhǎng)改為2；

步驟1-1-5：在檢測(cè)層級(jí)的最后新增大小為1*1*256的fea_concat_bn_ds_64層級(jí)；

步驟1-1-6：將檢測(cè)層級(jí)的先驗(yàn)框個(gè)數(shù)改為42675，利用kmeans算法對(duì)圖像數(shù)據(jù)集中目標(biāo)先驗(yàn)框的長(zhǎng)寬比先驗(yàn)信息進(jìn)行聚類，獲得可見(jiàn)光圖像中默認(rèn)的目標(biāo)框長(zhǎng)寬比為5種，即0.4，0.6，1，1.6，2.8；

步驟1-2：構(gòu)建基于FSSD的紅外航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)，對(duì)FSSD網(wǎng)絡(luò)結(jié)構(gòu)做出如下修改：

步驟1-2-1：將FSSD網(wǎng)絡(luò)的VGG16結(jié)構(gòu)中的conv3_3層級(jí)提取的特征圖送入到特征融合模塊；

步驟1-2-2：將檢測(cè)層級(jí)的先驗(yàn)框個(gè)數(shù)改為9700，利用kmeans算法對(duì)圖像數(shù)據(jù)集中目標(biāo)的先驗(yàn)框長(zhǎng)寬比先驗(yàn)信息進(jìn)行聚類，獲得紅外圖像中默認(rèn)的目標(biāo)框長(zhǎng)寬比為5種，即0.5，0.8，1，1.3，2.1；

步驟1-3：使用圖像數(shù)據(jù)集中的訓(xùn)練圖像集和測(cè)試圖像集對(duì)可見(jiàn)光航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)和紅外航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練和測(cè)試，通過(guò)統(tǒng)計(jì)方法得到各類別目標(biāo)檢測(cè)的平均準(zhǔn)確率；

步驟1-4：使用訓(xùn)練完成的可見(jiàn)光航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)和紅外航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)分別對(duì)包含目標(biāo)的可見(jiàn)光圖像和紅外圖像進(jìn)行檢測(cè)，能夠得到目標(biāo)外接矩形的位置、目標(biāo)類別、目標(biāo)歸屬類別的置信度；

步驟2：構(gòu)建分布式融合多目標(biāo)檢測(cè)方法；

步驟2-1：構(gòu)建多源圖像多目標(biāo)位置關(guān)聯(lián)方法；

步驟2-1-1：假設(shè)有m個(gè)飛行平臺(tái)，將k個(gè)基于FSSD的可見(jiàn)光航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)f₁，f₂，...，f_k分別搭載在飛行平臺(tái)1，2，...，k上，將m-k個(gè)基于FSSD的紅外航拍圖像多目標(biāo)檢測(cè)網(wǎng)絡(luò)f_k+1，f_k+2，...，f_m分別搭載在飛行平臺(tái)k+1，k+2，...，m上；使用m個(gè)飛行平臺(tái)進(jìn)行目標(biāo)圖像采集，每個(gè)飛行平臺(tái)采集一幅圖像，分別定義為H₁，H₂，...，H_m；再對(duì)圖像H₁，H₂，...，M_m進(jìn)行配準(zhǔn)；

使用每個(gè)飛行平臺(tái)上加載的檢測(cè)網(wǎng)絡(luò)對(duì)本飛行平臺(tái)采集到的圖像進(jìn)行目標(biāo)檢測(cè)，假設(shè)在每幅圖像中檢測(cè)到的目標(biāo)數(shù)分別為l₁，l₂，...，l_m；

步驟2-1-2：對(duì)于圖像H₁中檢測(cè)到的第e個(gè)目標(biāo)計(jì)算目標(biāo)的外接矩形的中心點(diǎn)與圖像H₂，H₃，...，H_m中所有檢測(cè)到目標(biāo)的外接矩形中心點(diǎn)之間的距離g，將圖像H₂，H₃，...，M_m中滿足距離g≤∈₁的任一目標(biāo)分別記為的外接矩形分別記為∈₁為預(yù)設(shè)閾值；

計(jì)算目標(biāo)之間的交并比IoU：

若IoU＞0.5，則判定為同一目標(biāo)，完成目標(biāo)位置關(guān)聯(lián)，目標(biāo)位置為圖像H₁，H₂，...，M_m中該目標(biāo)的最大外接矩形；

若IoU≤0.5，則舍棄目標(biāo)

步驟2-1-3：將e從1取到l₁，重復(fù)步驟2-1-2，得到m幅圖像中所有位置關(guān)聯(lián)的目標(biāo)：

步驟2-2：構(gòu)建基于ECOC的分布式融合多目標(biāo)檢測(cè)方法；

步驟2-2-1：構(gòu)建分布式融合多目標(biāo)分類方法；

步驟2-2-1-1：建立可見(jiàn)光/紅外分布式融合多目標(biāo)分類ECOC編碼矩陣；

步驟2-2-1-1-1：假設(shè)目標(biāo)有n+1類，分別為C₁，C₂，...，C_n+1，其中C₁，C₂，...，C_n為n個(gè)目標(biāo)類，C_n+1為背景類；對(duì)于檢測(cè)網(wǎng)絡(luò)f₁，f₂，...，f_k，f_k+1，f_k+2，...，f_m，采用步驟1-3的方法對(duì)測(cè)試集進(jìn)行測(cè)試得到每個(gè)檢測(cè)網(wǎng)絡(luò)對(duì)每個(gè)類別的目標(biāo)檢測(cè)的平均準(zhǔn)確率AP_ij，i＝1，2，...，n+1；j＝1，2，...，m，將平均準(zhǔn)確率AP_ij作為碼字權(quán)值，構(gòu)造ECOC編碼矩陣，如表1所示：

表1可見(jiàn)光/紅外分布式融合多目標(biāo)分類ECOC編碼矩陣

表1中每個(gè)碼字權(quán)值的正負(fù)性由以下步驟決定；

步驟2-2-1-1-2：對(duì)可見(jiàn)光圖像的檢測(cè)網(wǎng)絡(luò)f₁,f₂,...,f_k，對(duì)n個(gè)目標(biāo)類C₁,C₂,...,C_n進(jìn)行目標(biāo)檢測(cè)測(cè)試，AP_ij,i＝1,2,3,...,n；j＝1,2,3,...,k的最大值為：

AP_{visible_max}＝max{AP_ij|i＝1,2,3,...,n；j＝1,2,3,...,k}??????????????????(2)

將AP_{visible_max}編碼設(shè)為正值，AP_{visible_max}所在列檢測(cè)網(wǎng)絡(luò)對(duì)應(yīng)的其它目標(biāo)類碼字權(quán)值編碼為負(fù)值；目標(biāo)類C₁,C₂,...,C_n每一行中非AP_{visible_max}所在列的碼字權(quán)值編碼與AP_{visible_max}所在列的正負(fù)編碼方式取反；

步驟2-2-1-1-3：對(duì)紅外圖像的檢測(cè)網(wǎng)絡(luò)f_k+1,f_k+2,...,f_m，對(duì)n個(gè)目標(biāo)類C₁,C₂,...,C_n進(jìn)行目標(biāo)檢測(cè)測(cè)試，AP_ij,i＝1,2,3,...,n；j＝k+1,k+2,...,m的最大值為：

AP_{infrared_max}＝max{AP_ij|i＝1,2,3,...,n；j＝k+1,k+2,k+3,...,m}???????????(3)

將AP_{infrared_max}編碼設(shè)為正值，AP_{infrared_max}所在列檢測(cè)網(wǎng)絡(luò)對(duì)應(yīng)的其它目標(biāo)類碼字權(quán)值編碼為負(fù)值；目標(biāo)類C₁,C₂,...,C_n每一行中非AP_{infrared_max}所在列的碼字權(quán)值編碼與AP_{infrared_max}所在列的正負(fù)編碼方式取反；

步驟2-2-1-1-4：背景類C_n+1的AP值的計(jì)算方式如下：

AP_(n+1)j＝max{AP_ij|i＝1,2,...,n}+[1-max{AP_ij|i＝1,2,...,n}]²×min{AP_ij|i＝1,2,...,n}j＝1,2,...,m

AP_(n+1)j的最大值為：

AP_{background_max}＝max{AP_(n+1)j|j＝1,2,...,m}

將AP_{background_max}編碼設(shè)為正值，其它背景類碼字權(quán)值編碼為負(fù)值；

步驟2-2-1-2：建立ECOC預(yù)測(cè)編碼；

假設(shè)每個(gè)檢測(cè)網(wǎng)絡(luò)檢測(cè)出的第e個(gè)目標(biāo)屬于目標(biāo)類C₁,C₂,...,C_n之一的置信度分別為

定義ECOC預(yù)測(cè)編碼：

中碼字的正負(fù)，與ECOC編碼矩陣中同一檢測(cè)網(wǎng)絡(luò)相同目標(biāo)類的AP_ij的正負(fù)相同；當(dāng)目標(biāo)被檢測(cè)為背景類時(shí)，檢測(cè)網(wǎng)絡(luò)的置信度設(shè)為δ，正負(fù)性和ECOC編碼矩陣中同一檢測(cè)網(wǎng)絡(luò)背景類的AP_(n+1)j的正負(fù)相同；

對(duì)步驟2-1中判定的每個(gè)位置關(guān)聯(lián)的同一目標(biāo)按照步驟2-2-1-2建立ECOC預(yù)測(cè)編碼；

步驟2-2-1-3：多目標(biāo)分類；

計(jì)算步驟2-2-1-2得到的第e個(gè)目標(biāo)的ECOC預(yù)測(cè)編碼與ECOC編碼矩陣中各行的歐氏距離：

n+1個(gè)值最小的值對(duì)應(yīng)的目標(biāo)類即為第e個(gè)目標(biāo)最終目標(biāo)融合分類結(jié)果C_result：

同理得到所有目標(biāo)最終目標(biāo)融合分類結(jié)果；

步驟2-2-2：構(gòu)建分布式多目標(biāo)分類置信度融合方法；

當(dāng)置信度為第e個(gè)目標(biāo)屬于不同目標(biāo)類的置信度時(shí)，定義第e個(gè)目標(biāo)目標(biāo)置信度融合結(jié)果：

當(dāng)置信度為第e個(gè)目標(biāo)屬于同一目標(biāo)類的置信度時(shí)，定義第e個(gè)目標(biāo)目標(biāo)置信度融合結(jié)果：

式中，f(C_result)_max表示分類結(jié)果為C_result目標(biāo)類且置信度最大的檢測(cè)網(wǎng)絡(luò)，β為該檢測(cè)網(wǎng)絡(luò)對(duì)應(yīng)的C_result類的AP值，表示該檢測(cè)網(wǎng)絡(luò)對(duì)應(yīng)C_result類的置信度；f_j表示第j個(gè)檢測(cè)網(wǎng)絡(luò)，ω_j為該檢測(cè)網(wǎng)絡(luò)分類結(jié)果對(duì)應(yīng)AP值經(jīng)softmax歸一化的權(quán)重：

式中，α_j為非置信度最大的檢測(cè)網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)類別所對(duì)應(yīng)的AP值；

同理得到所有目標(biāo)最終目標(biāo)分類置信度融合結(jié)果；

步驟3：對(duì)包含目標(biāo)的可見(jiàn)光圖像和紅外圖像采用步驟1和步驟2的方法進(jìn)行處理，最終得到目標(biāo)融合分類和置信度融合結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種可見(jiàn)光/紅外圖像多平臺(tái)分布式融合多目標(biāo)檢測(cè)方法，其特征在于，所述置信度δ的值為0.8。