[發(fā)明專利]一種基于運(yùn)動(dòng)特征和深度學(xué)習(xí)特征的無(wú)人機(jī)小目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711166232.4
• 申請(qǐng)日: 2017-11-21
• 公開(kāi)（公告）號(hào): CN107862705B
• 公開(kāi)（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 高陳強(qiáng);杜蓮;王燦;馮琦;湯林;汪瀾
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06N3/04
• 代理公司: 北京同恒源知識(shí)產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

1.一種基于運(yùn)動(dòng)特征和深度學(xué)習(xí)特征的無(wú)人機(jī)小目標(biāo)檢測(cè)方法，其特征在于：該方法包括以下步驟：

S1：通過(guò)視頻穩(wěn)像算法對(duì)輸入的視頻的數(shù)據(jù)集進(jìn)行處理，補(bǔ)償攝像頭運(yùn)動(dòng)；

S2：通過(guò)低秩矩陣分析方法從運(yùn)動(dòng)補(bǔ)償后的視頻圖像中檢測(cè)運(yùn)動(dòng)候選目標(biāo)區(qū)域Ⅰ，并通過(guò)圖像后處理模塊去除運(yùn)動(dòng)候選目標(biāo)區(qū)域Ⅰ中細(xì)小的噪聲點(diǎn)；

S3：將視頻的數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，利用訓(xùn)練集訓(xùn)練得到改進(jìn)的候選區(qū)域生成網(wǎng)絡(luò)模型；通過(guò)改進(jìn)的區(qū)域生成網(wǎng)絡(luò)模型對(duì)測(cè)試集的視頻圖像處理生成候選目標(biāo)區(qū)域Ⅱ；

S4：將候選目標(biāo)區(qū)域Ⅰ和候選目標(biāo)區(qū)域Ⅱ進(jìn)行融合得到候選目標(biāo)區(qū)域Ⅲ；

S5：根據(jù)候選目標(biāo)區(qū)域Ⅲ，利用訓(xùn)練集訓(xùn)練得到基于雙通道的深度神經(jīng)網(wǎng)絡(luò)，然后將基于雙通道的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于測(cè)試集的候選目標(biāo)得到識(shí)別結(jié)果；

S6：利用相關(guān)濾波算法預(yù)測(cè)目標(biāo)的位置，跟蹤匹配穩(wěn)定的目標(biāo)，濾除虛假目標(biāo)，得到無(wú)人機(jī)所在位置；

步驟S3中，所述改進(jìn)的候選區(qū)域生成網(wǎng)絡(luò)模型包含依次連接的五個(gè)卷積層和兩個(gè)全連接層，其中第一層卷積層與第二層卷積層之間、第二層卷積層與第三層卷積層之間以及第五層和第一全連接層之間均設(shè)置有池化層；

步驟S3具體為：

S31：將視頻的數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集；

S32：對(duì)于訓(xùn)練集的數(shù)據(jù)，提取圖像中的人工標(biāo)注的正樣本，然后隨機(jī)采樣若干區(qū)域作為負(fù)樣本；

S33：利用訓(xùn)練集的正負(fù)樣本訓(xùn)練得到改進(jìn)的候選區(qū)域生成網(wǎng)絡(luò)模型；

S34：通過(guò)改進(jìn)的區(qū)域生成網(wǎng)絡(luò)模型對(duì)測(cè)試集的視頻圖像處理生成候選目標(biāo)區(qū)域Ⅱ；

步驟S32中隨機(jī)采樣的區(qū)域的寬度和高度大小范圍由正樣本的寬度和高度決定，且負(fù)樣本與正樣本的重疊區(qū)域滿足：

其中IoU為重疊率，r_g為正樣本區(qū)域，r_n為隨機(jī)采樣負(fù)樣本區(qū)域；

步驟S4中融合得到候選目標(biāo)區(qū)域Ⅲ具體為：

S41：對(duì)候選目標(biāo)區(qū)域Ⅰ進(jìn)行密集采樣得到密集種子候選區(qū)域；

S42：計(jì)算密集種子候選區(qū)域與候選目標(biāo)區(qū)域Ⅱ之間的相似性，當(dāng)滿足

時(shí)合并兩個(gè)候選區(qū)域，其中，Sim為密集種子候選區(qū)域與候選目標(biāo)區(qū)域Ⅱ的相似度；

S43：遍歷所有的候選目標(biāo)區(qū)域Ⅰ得到最終的候選目標(biāo)區(qū)域Ⅲ；

步驟S5中，所述基于雙通道的深度神經(jīng)網(wǎng)絡(luò)包含前端模塊和后端模塊；

所述前端模塊由兩個(gè)并行的深度神經(jīng)網(wǎng)絡(luò)模型組成，其中一個(gè)以候選目標(biāo)區(qū)域直接作為輸入，經(jīng)過(guò)一個(gè)6層卷積神經(jīng)網(wǎng)絡(luò)和1個(gè)全連接層；另一個(gè)以候選目標(biāo)區(qū)域?yàn)橹行模谠瓐D目標(biāo)區(qū)域上建立一個(gè)擴(kuò)展區(qū)域作為輸入，經(jīng)過(guò)一個(gè)6層卷積神經(jīng)網(wǎng)絡(luò)和1個(gè)全連接層；

所述后端模塊以前端模塊得到的兩個(gè)全連接層的輸出作為輸入，經(jīng)過(guò)2個(gè)全連接層和1個(gè)softmax層得到每個(gè)候選區(qū)域的分類信息作為最終的分類結(jié)果；

步驟S5具體為：

S51：對(duì)于訓(xùn)練數(shù)據(jù)集，將步驟S4得到的候選目標(biāo)區(qū)域Ⅲ的訓(xùn)練數(shù)據(jù)集分為正負(fù)樣本，輸入到基于雙通道的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到最優(yōu)權(quán)重；

S52：將最優(yōu)權(quán)重應(yīng)用到步驟S4得到的測(cè)試集的候選目標(biāo)區(qū)域進(jìn)行分類，得到最終的識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于運(yùn)動(dòng)特征和深度學(xué)習(xí)特征的無(wú)人機(jī)小目標(biāo)檢測(cè)方法，其特征在于：步驟S1中，所述的視頻穩(wěn)像算法包括：

S11：利用SURF算法對(duì)每一幀圖像提取特征點(diǎn)；

S12：通過(guò)得到的兩幀圖像之間的特征匹配點(diǎn)計(jì)算得到兩幀之間的仿射變換模型；

S13：利用得到的仿射變換模型對(duì)當(dāng)前幀進(jìn)行補(bǔ)償。