[發(fā)明專利]一種基于混合視覺的高空拋物檢測方法及裝置

在審

• 申請?zhí)枺?/td>: 202111288053.4
• 申請日: 2021-11-02
• 公開（公告）號: CN114170295A
• 公開（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 馬金艷;徐庶;劉慶杰;管達(dá)志;倪文輝;高爽;陳博文
• 申請（專利權(quán)）人: 中國電子科技南湖研究院
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T7/194;G06T7/136;G06T7/277;G06T7/80;G06T5/00;G06V10/762;G06K9/62
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發(fā)明公開了一種基于混合視覺的高空拋物檢測方法及裝置，同時(shí)搭載并配準(zhǔn)事件相機(jī)和常規(guī)攝像機(jī)對被監(jiān)測樓宇進(jìn)行實(shí)時(shí)監(jiān)測，事件相機(jī)基于產(chǎn)生的事件序列，檢測運(yùn)動目標(biāo)，獲取運(yùn)動目標(biāo)位置，采用卡爾曼濾波算法對運(yùn)動目標(biāo)的位置進(jìn)行跟蹤校正，將檢測得到的運(yùn)動目標(biāo)與已知運(yùn)動目標(biāo)進(jìn)行關(guān)聯(lián)，建立運(yùn)動目標(biāo)的跟蹤列表，判斷運(yùn)動目標(biāo)是否為高空拋物，如果是，則上報(bào)運(yùn)動目標(biāo)的位置和時(shí)間，根據(jù)上報(bào)的運(yùn)動目標(biāo)的時(shí)間，截取常規(guī)攝像機(jī)拍攝的視頻圖像保存。本發(fā)明結(jié)合事件相機(jī)和常規(guī)攝像頭的混合視覺，受光照影響小，當(dāng)拋物與背景顏色相近、尺寸較小、運(yùn)動太快或黑夜條件時(shí)，誤報(bào)率低，定位性能高。

技術(shù)領(lǐng)域

本申請屬于目標(biāo)檢測技術(shù)領(lǐng)域，尤其涉及一種基于混合視覺的高空拋物檢測方法及裝置。

背景技術(shù)

隨著高層住宅越來越多，高空拋物、墜物現(xiàn)象嚴(yán)重威脅著人民群眾的生命財(cái)產(chǎn)安全。及時(shí)發(fā)現(xiàn)高空拋物并進(jìn)行追責(zé)，是防治這種不文明行為的前提。但因高空拋物的發(fā)現(xiàn)難、取證難、追責(zé)難等原因?qū)е赂呖諕佄镆廊皇巧鐓^(qū)管理的重難點(diǎn)之一。

現(xiàn)有辦法是在樓底下仰視安裝用于視頻圖像采集的攝像頭，并對監(jiān)控范圍內(nèi)各監(jiān)控現(xiàn)場的實(shí)時(shí)情況進(jìn)行24小時(shí)實(shí)時(shí)視頻監(jiān)控，當(dāng)發(fā)生異?，F(xiàn)象時(shí)，傳統(tǒng)解決方案是通過人為調(diào)取監(jiān)控錄像和上門走訪來排查問題。但由于拋物時(shí)間不確定，物業(yè)人員需要人工查驗(yàn)每一幀圖像數(shù)據(jù)，耗時(shí)耗力且易漏查?，F(xiàn)今部分解決方案引入基于人工智能的全自主高空拋物實(shí)時(shí)監(jiān)控系統(tǒng)，雖然可以在無人干預(yù)的情況下自主捕獲一部分高空拋物并對其進(jìn)行追責(zé)，但仍舊存在如下幾點(diǎn)問題：

檢測難，受光照影響較大，當(dāng)拋物與背景顏色相近、尺寸較小、運(yùn)動太快或黑夜條件時(shí)，定位性能較差，誤報(bào)率高；

成本高，高分辨率且高幀率的槍機(jī)成本很高，若采用人工智能方法則要按需采購足量的GPU，雖然能實(shí)現(xiàn)自主監(jiān)控但提到了成本。

發(fā)明內(nèi)容

本申請的目的是提供一種基于混合視覺的高空拋物檢測方法，以克服上述背景技術(shù)中指出的缺陷。

為了實(shí)現(xiàn)上述目的，本申請技術(shù)方案如下：

一種基于混合視覺的高空拋物檢測方法，包括：

同時(shí)搭載并配準(zhǔn)事件相機(jī)和常規(guī)攝像機(jī)對被監(jiān)測樓宇進(jìn)行實(shí)時(shí)監(jiān)測；

事件相機(jī)基于產(chǎn)生的事件序列，檢測運(yùn)動目標(biāo)，獲取運(yùn)動目標(biāo)位置；

采用卡爾曼濾波算法對運(yùn)動目標(biāo)的位置進(jìn)行跟蹤校正；

將檢測得到的運(yùn)動目標(biāo)與已知運(yùn)動目標(biāo)進(jìn)行關(guān)聯(lián)；

建立運(yùn)動目標(biāo)的跟蹤列表，判斷運(yùn)動目標(biāo)是否為高空拋物，如果是，則上報(bào)運(yùn)動目標(biāo)的位置和時(shí)間；

根據(jù)上報(bào)的運(yùn)動目標(biāo)的時(shí)間，截取常規(guī)攝像機(jī)拍攝的視頻圖像保存。

進(jìn)一步的，所述事件相機(jī)基于產(chǎn)生的事件序列，檢測運(yùn)動目標(biāo)，獲取運(yùn)動目標(biāo)位置，包括：

獲取預(yù)設(shè)時(shí)間段內(nèi)的事件序列，換算為對應(yīng)的均值時(shí)間圖；

基于均值時(shí)間圖采用閾值法區(qū)分運(yùn)動目標(biāo)和背景，并去除噪聲干擾；

進(jìn)行目標(biāo)檢測，獲取運(yùn)動目標(biāo)位置信息。

進(jìn)一步的，所述獲取預(yù)設(shè)時(shí)間段內(nèi)的事件序列，換算為對應(yīng)的均值時(shí)間圖，包括：

獲取預(yù)設(shè)時(shí)間段內(nèi)的事件序列，按照如下公式生成時(shí)間圖像：

其中，T_i,j為時(shí)間圖像中的像素值，(i,j)為離散化后的整數(shù)像素坐標(biāo)，Σt表示δt內(nèi)位置(i,j)坐標(biāo)上的事件序列時(shí)間累計(jì)值，δt為預(yù)設(shè)時(shí)間段；

在時(shí)間圖像的基礎(chǔ)上，采用如下公式換算得到平均時(shí)間圖像：