[發(fā)明專利]一種基于混合視覺的高空拋物檢測(cè)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111288053.4
• 申請(qǐng)日: 2021-11-02
• 公開（公告）號(hào): CN114170295A
• 公開（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 馬金艷;徐庶;劉慶杰;管達(dá)志;倪文輝;高爽;陳博文
• 申請(qǐng)（專利權(quán)）人: 中國電子科技南湖研究院
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70;G06T7/194;G06T7/136;G06T7/277;G06T7/80;G06T5/00;G06V10/762;G06K9/62
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

1.一種基于混合視覺的高空拋物檢測(cè)方法，其特征在于，所述基于混合視覺的高空拋物檢測(cè)方法，包括：

同時(shí)搭載并配準(zhǔn)事件相機(jī)和常規(guī)攝像機(jī)對(duì)被監(jiān)測(cè)樓宇進(jìn)行實(shí)時(shí)監(jiān)測(cè)；

事件相機(jī)基于產(chǎn)生的事件序列，檢測(cè)運(yùn)動(dòng)目標(biāo)，獲取運(yùn)動(dòng)目標(biāo)位置；

采用卡爾曼濾波算法對(duì)運(yùn)動(dòng)目標(biāo)的位置進(jìn)行跟蹤校正；

將檢測(cè)得到的運(yùn)動(dòng)目標(biāo)與已知運(yùn)動(dòng)目標(biāo)進(jìn)行關(guān)聯(lián)；

建立運(yùn)動(dòng)目標(biāo)的跟蹤列表，判斷運(yùn)動(dòng)目標(biāo)是否為高空拋物，如果是，則上報(bào)運(yùn)動(dòng)目標(biāo)的位置和時(shí)間；

根據(jù)上報(bào)的運(yùn)動(dòng)目標(biāo)的時(shí)間，截取常規(guī)攝像機(jī)拍攝的視頻圖像保存。

2.根據(jù)權(quán)利要求1所述的基于混合視覺的高空拋物檢測(cè)方法，其特征在于，所述事件相機(jī)基于產(chǎn)生的事件序列，檢測(cè)運(yùn)動(dòng)目標(biāo)，獲取運(yùn)動(dòng)目標(biāo)位置，包括：

獲取預(yù)設(shè)時(shí)間段內(nèi)的事件序列，換算為對(duì)應(yīng)的均值時(shí)間圖；

基于均值時(shí)間圖采用閾值法區(qū)分運(yùn)動(dòng)目標(biāo)和背景，并去除噪聲干擾；

進(jìn)行目標(biāo)檢測(cè)，獲取運(yùn)動(dòng)目標(biāo)位置信息。

3.根據(jù)權(quán)利要求2所述的基于混合視覺的高空拋物檢測(cè)方法，其特征在于，所述獲取預(yù)設(shè)時(shí)間段內(nèi)的事件序列，換算為對(duì)應(yīng)的均值時(shí)間圖，包括：

獲取預(yù)設(shè)時(shí)間段內(nèi)的事件序列，按照如下公式生成時(shí)間圖像：

其中，T_i,j為時(shí)間圖像中的像素值，(i,j)為離散化后的整數(shù)像素坐標(biāo)，Σt表示δt內(nèi)位置(i,j)坐標(biāo)上的事件序列時(shí)間累計(jì)值，δt為預(yù)設(shè)時(shí)間段；

在時(shí)間圖像的基礎(chǔ)上，采用如下公式換算得到平均時(shí)間圖像：

表示所有T_i,j的均值，平均時(shí)間圖像中每個(gè)像素表示為ρ_i,j。

4.根據(jù)權(quán)利要求1所述的基于混合視覺的高空拋物檢測(cè)方法，其特征在于，所述采用卡爾曼濾波算法對(duì)運(yùn)動(dòng)目標(biāo)的位置進(jìn)行跟蹤校正，包括：

采用k-1時(shí)刻的狀態(tài)來預(yù)測(cè)得到一個(gè)k時(shí)刻狀態(tài)的預(yù)測(cè)值，然后對(duì)k時(shí)刻的預(yù)測(cè)值和k時(shí)刻的實(shí)際測(cè)量值進(jìn)行加權(quán)線性組合找到最優(yōu)估計(jì)值，作為運(yùn)動(dòng)目標(biāo)k時(shí)刻的狀態(tài)，所述狀態(tài)包括位置和速度。

5.根據(jù)權(quán)利要求4所述的基于混合視覺的高空拋物檢測(cè)方法，其特征在于，所述k時(shí)刻狀態(tài)的預(yù)測(cè)值表示為其中x_k表示k時(shí)刻的位置預(yù)測(cè)值，表示k時(shí)刻的速度預(yù)測(cè)值，其中：

Δt＝t_k-t_k-1

其中，x_k-1表示k-1時(shí)刻的位置，表示k-1時(shí)刻的速度，g表示勻加速運(yùn)動(dòng)的加速度，t_k表示k時(shí)刻的時(shí)間，t_k-1表示k-1時(shí)刻的時(shí)間。

6.一種基于混合視覺的高空拋物檢測(cè)裝置，其特征在于，所述基于混合視覺的高空拋物檢測(cè)裝置，包括：

配準(zhǔn)模塊，用于配準(zhǔn)同時(shí)搭載的事件相機(jī)和常規(guī)攝像機(jī)對(duì)被監(jiān)測(cè)樓宇進(jìn)行實(shí)時(shí)監(jiān)測(cè)；

運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤模塊，用于基于事件相機(jī)產(chǎn)生的事件序列，檢測(cè)運(yùn)動(dòng)目標(biāo)，獲取運(yùn)動(dòng)目標(biāo)位置；采用卡爾曼濾波算法對(duì)運(yùn)動(dòng)目標(biāo)的位置進(jìn)行跟蹤校正；將檢測(cè)得到的運(yùn)動(dòng)目標(biāo)與已知運(yùn)動(dòng)目標(biāo)進(jìn)行關(guān)聯(lián)；建立運(yùn)動(dòng)目標(biāo)的跟蹤列表，判斷運(yùn)動(dòng)目標(biāo)是否為高空拋物，如果是，則上報(bào)運(yùn)動(dòng)目標(biāo)的位置和時(shí)間；

常規(guī)攝像機(jī)錄像截取模塊，用于根據(jù)上報(bào)的運(yùn)動(dòng)目標(biāo)的時(shí)間，截取常規(guī)攝像機(jī)拍攝的視頻圖像保存。

7.根據(jù)權(quán)利要求6所述的基于混合視覺的高空拋物檢測(cè)裝置，其特征在于，所述運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤模塊，基于事件相機(jī)產(chǎn)生的事件序列，檢測(cè)運(yùn)動(dòng)目標(biāo)，獲取運(yùn)動(dòng)目標(biāo)位置，執(zhí)行如下操作：

獲取預(yù)設(shè)時(shí)間段內(nèi)的事件序列，換算為對(duì)應(yīng)的均值時(shí)間圖；

基于均值時(shí)間圖采用閾值法區(qū)分運(yùn)動(dòng)目標(biāo)和背景，并去除噪聲干擾；

進(jìn)行目標(biāo)檢測(cè)，獲取運(yùn)動(dòng)目標(biāo)位置信息。