[發(fā)明專利]復(fù)雜低空環(huán)境下一種協(xié)同監(jiān)視方法與裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811094761.2
• 申請(qǐng)日: 2018-09-19
• 公開（公告）號(hào): CN109359545B
• 公開（公告）日: 2020-07-21
• 發(fā)明（設(shè)計(jì)）人: 曹先彬;甄先通;李巖;張安然;胡宇韜
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京永創(chuàng)新實(shí)專利事務(wù)所 11121
• 代理人: 冀學(xué)軍

1.復(fù)雜低空環(huán)境下一種協(xié)同監(jiān)視方法，其特征在于，具體步驟如下：

步驟一、針對(duì)復(fù)雜低空環(huán)境，根據(jù)地形劃分M個(gè)水平監(jiān)視區(qū)域，同時(shí)根據(jù)采集范圍劃分N個(gè)垂直監(jiān)視區(qū)域；

垂直監(jiān)視區(qū)域按照飛行高度劃分，每個(gè)水平區(qū)域有N個(gè)垂直飛行的無人機(jī)，整個(gè)監(jiān)視范圍內(nèi)有M*N個(gè)無人機(jī)；每個(gè)運(yùn)動(dòng)目標(biāo)在水平監(jiān)視區(qū)域中能采集到M個(gè)監(jiān)視視頻，每個(gè)水平監(jiān)視區(qū)域內(nèi)都有N個(gè)監(jiān)視視頻；

步驟二、針對(duì)某個(gè)運(yùn)動(dòng)目標(biāo)，將M個(gè)監(jiān)視視頻，或者每個(gè)水平監(jiān)視區(qū)域內(nèi)的N個(gè)監(jiān)視視頻分別劃分成訓(xùn)練集和測試集；

步驟三、依次選取訓(xùn)練集中的每個(gè)視頻作為當(dāng)前視頻，將當(dāng)前視頻逐幀分為6段，在每段視頻中除去首幀后隨機(jī)抽取1幀，將抽取的6幀圖像作為當(dāng)前視頻的原始基本圖像I_o1～I(xiàn)_o6；

步驟四、對(duì)當(dāng)前視頻的原始基本圖像進(jìn)行處理獲得幀差圖像；

針對(duì)每幀基本圖像I_oi，i＝1,2,3,4,5,6；各自與自己同段內(nèi)的前一幀圖像做差，獲得幀差圖像I_d1～I(xiàn)_d6：為同段內(nèi)的基本圖像I_oi的前一幀圖像；

步驟五、對(duì)基本圖像和幀差圖像，通過VGG網(wǎng)絡(luò)融合模型得到圖像基本特征和運(yùn)動(dòng)特征；

將基本圖像I_o1～I(xiàn)_o6輸入VGG網(wǎng)絡(luò)，依次經(jīng)過卷積層，池化層和全連接層，分別得到特征大小是1*1000的f_o1～f_o6；通過求和方法，求得融合后的圖像基本特征f_o：

f_o＝f_o1+f_o2+...+f_o6

同時(shí)，將幀差圖像I_d1～I(xiàn)_d6輸入VGG網(wǎng)絡(luò)，依次經(jīng)過卷積層，池化層和全連接層，分別得到特征大小是1*1000的f_d1～f_d6；通過求和方法，獲得融合后的運(yùn)動(dòng)特征f_d：

f_d＝f_d1+f_d2+...+f_d6

步驟六、對(duì)融合后的圖像基本特征f_o和運(yùn)動(dòng)特征f_d進(jìn)行拼接，通過融合模型的softmax層進(jìn)行二分類，得到該運(yùn)動(dòng)目標(biāo)的結(jié)果標(biāo)簽；

將兩個(gè)大小1*1000的特征f_d和f_o進(jìn)行特征融合，直接拼接成1*2000的特征F；

F＝Concatenate(f_o,f_d)

將融合后的拼接特征F通過softmax層，得到有或沒有該運(yùn)動(dòng)目標(biāo)的二分類概率，最終根據(jù)概率得到該運(yùn)動(dòng)目標(biāo)的結(jié)果標(biāo)簽；

步驟七、返回步驟三，選取訓(xùn)練集中的下一個(gè)視頻通過融合模型進(jìn)行二分類訓(xùn)練，直至得到所有訓(xùn)練集中該運(yùn)動(dòng)目標(biāo)的結(jié)果標(biāo)簽；

針對(duì)該運(yùn)動(dòng)目標(biāo)，M個(gè)水平監(jiān)視視頻的二分類結(jié)果標(biāo)簽為有或沒有，每個(gè)水平監(jiān)視區(qū)域內(nèi)的N個(gè)監(jiān)視視頻的二分類結(jié)果標(biāo)簽為有或沒有；

步驟八、將測試集中每幀視頻分別輸入訓(xùn)練好的融合模型中，輸出該運(yùn)動(dòng)目標(biāo)的結(jié)果標(biāo)簽；

步驟九、對(duì)所有測試集的結(jié)果標(biāo)簽進(jìn)行投票，確定最終有或者沒有該運(yùn)動(dòng)目標(biāo)。

2.如權(quán)利要求1所述的復(fù)雜低空環(huán)境下一種協(xié)同監(jiān)視方法，其特征在于，所述的步驟二中，針對(duì)M個(gè)監(jiān)視視頻或者每個(gè)水平監(jiān)視區(qū)域內(nèi)的N個(gè)監(jiān)視視頻，取80％做訓(xùn)練集，20％做測試集。

3.如權(quán)利要求1所述的復(fù)雜低空環(huán)境下一種協(xié)同監(jiān)視方法，其特征在于，所述的VGG網(wǎng)絡(luò)包含十六個(gè)卷積層，十六個(gè)池化層，三個(gè)全連接層和一個(gè)softmax層，每個(gè)卷積層后面接著一個(gè)池化層。

4.應(yīng)用于權(quán)利要求1所述的復(fù)雜低空環(huán)境下一種協(xié)同監(jiān)視方法的協(xié)同監(jiān)視裝置，其特征在于，包括無人機(jī)無人值守前端設(shè)備、遠(yuǎn)程控制中心、數(shù)據(jù)處理模塊、算法模塊和處理中心；

遠(yuǎn)程控制中心設(shè)置了無人機(jī)飛行周期，飛行高度，飛行時(shí)間以及確定采集視頻數(shù)據(jù)的類型；無人機(jī)無人值守前端設(shè)備通過攜帶攝像頭，按照地面遠(yuǎn)程控制中心發(fā)送的命令采集復(fù)雜低空環(huán)境運(yùn)動(dòng)目標(biāo)的視頻，并發(fā)送給數(shù)據(jù)處理模塊對(duì)采集的視頻進(jìn)行分類；算法模塊計(jì)算原始基本圖像和幀差圖像，并訓(xùn)練VGG網(wǎng)絡(luò)融合模型，得到運(yùn)動(dòng)目標(biāo)的二分類概率以及確定結(jié)果標(biāo)簽，處理中心將分類結(jié)果反饋給監(jiān)測人員，進(jìn)行后續(xù)工作。