[發(fā)明專利]檢測(cè)無人機(jī)影像目標(biāo)的方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811174109.1
• 申請(qǐng)日: 2018-10-09
• 公開（公告）號(hào): CN109389086B
• 公開（公告）日: 2021-03-05
• 發(fā)明（設(shè)計(jì)）人: 阿孜古麗·吾拉木;施祖賢;張德政;栗輝;陳天傲;楊容季
• 申請(qǐng)（專利權(quán)）人: 北京科技大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 北京市廣友專利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波

1.一種檢測(cè)無人機(jī)影像的方法，其特征在于，包括：

判斷影像的參考幀與當(dāng)前幀的差異值是否超過閾值，其中，所述參考幀是所述當(dāng)前幀的相鄰前幀，所述影像由多個(gè)目標(biāo)組成；

如果所述差異值超過閾值則提取所述參考幀和所述當(dāng)前幀各自的特征；

通過光流網(wǎng)絡(luò)模型將所述參考幀的特征傳遞到所述當(dāng)前幀；

將所述當(dāng)前幀與從所述參考幀傳遞過來的特征按照不同的預(yù)設(shè)權(quán)重進(jìn)行組合成為增強(qiáng)特征，其中，所述權(quán)重在特征通道中為固定不變的空間權(quán)重；

檢測(cè)所述增強(qiáng)特征得到所述影像的目標(biāo)檢測(cè)與識(shí)別的結(jié)果和語(yǔ)義分割的結(jié)果；

其中，判斷目標(biāo)的參考幀與當(dāng)前幀的差異值是否超過閾值包括：

對(duì)所述參考幀與所述當(dāng)前幀進(jìn)行幀間差分運(yùn)算得到差異值；

判斷所述差異值是否超過閾值；

如果所述差異值未超過閾值則將所述參考幀的檢測(cè)結(jié)果傳遞到所述當(dāng)前幀；

檢測(cè)所述增強(qiáng)特征得到所述影像的目標(biāo)檢測(cè)與識(shí)別結(jié)果和語(yǔ)義分割的結(jié)果之后，所述方法還包括：

通過前后幀抑制、高置信度跟蹤和空間位置矯正對(duì)所述影像的目標(biāo)檢測(cè)與識(shí)別和語(yǔ)義分割結(jié)果進(jìn)行精度的提升，其中，所述前后幀抑制是通過對(duì)整段影像上的檢測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)分析，對(duì)所有檢測(cè)窗口按照置信度排序，選出得分高和得分低的窗口，將得分低的窗口減去一個(gè)預(yù)設(shè)的數(shù)值，用于使檢測(cè)正確與錯(cuò)誤的窗口拉開距離；所述高置信度跟蹤是利用跟蹤算法在檢測(cè)結(jié)果中選取置信度高的目標(biāo)作為跟蹤起點(diǎn)，從所述跟蹤起點(diǎn)向前向后在整個(gè)影像上進(jìn)行跟蹤，生成跟蹤軌跡，在跟蹤的過程中如果跟蹤目標(biāo)的變化導(dǎo)致置信度低于預(yù)設(shè)閾值時(shí)，則停止跟蹤；然后從剩余的目標(biāo)中選取置信度高的目標(biāo)作為所述跟蹤起點(diǎn)，重復(fù)進(jìn)行上述操作；如果所述窗口與之前在跟蹤軌跡上出現(xiàn)過的窗口一致，則直接跳過，最后，利用所述跟蹤軌跡對(duì)目標(biāo)檢測(cè)與識(shí)別的結(jié)果和語(yǔ)義分割的結(jié)果進(jìn)行矯正；所述空間位置矯正是通過跟蹤結(jié)果對(duì)在每個(gè)位置周圍的檢測(cè)結(jié)果進(jìn)行對(duì)比，當(dāng)IOU0.5時(shí)的位置是目標(biāo)的最終位置，IOU是兩個(gè)區(qū)域重疊的部分除以兩個(gè)區(qū)域的集合部分。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，提取所述參考幀和所述當(dāng)前幀各自的特征包括：

通過特征提取網(wǎng)絡(luò)提取所述參考幀和所述當(dāng)前幀各自的特征。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，檢測(cè)所述增強(qiáng)特征得到所述目標(biāo)檢測(cè)與識(shí)別的結(jié)果和語(yǔ)義分割的結(jié)果包括：

通過高精度檢測(cè)網(wǎng)絡(luò)檢測(cè)所述增強(qiáng)特征得到所述影像的檢測(cè)與識(shí)別結(jié)果和語(yǔ)義分割結(jié)果，其中，所述高精度檢測(cè)網(wǎng)絡(luò)是一種對(duì)靜態(tài)圖像進(jìn)行檢測(cè)與識(shí)別的算法。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述參考幀是將第一幀作為所述參考幀，然后用合成了增強(qiáng)特征的第二幀替換所述參考幀，依此類推，或者是給定一個(gè)時(shí)間間隔t_in，第一幀首先作為參考幀，t_in時(shí)刻后t時(shí)刻的參考幀就是t-t_in時(shí)刻的幀。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過光流網(wǎng)絡(luò)模型將所述參考幀的特征傳遞到所述當(dāng)前幀包括：

將光流場(chǎng)M_y→x＝F(x,y)通過所述光流網(wǎng)絡(luò)模型進(jìn)行運(yùn)動(dòng)估計(jì)，其中，x是參考幀，y是當(dāng)前幀；

根據(jù)光流傳播函數(shù)將所述參考幀的特征傳遞到當(dāng)前幀，其中，所述光流傳播函數(shù)為f_x→y＝W(f_x,M_y→x)＝W(f_x,F(x,y)),其中，W(·)是一個(gè)雙線性的傳播函數(shù)，用于應(yīng)用到特征每個(gè)通道的所有位置上，f_x→y表示從幀x傳播到幀y的特征。