[發明專利]基于視頻幀與脈沖陣列信號的聯合目標檢測方法與裝置

有效

• 申請號: 201910579928.2
• 申請日: 2019-06-28
• 公開（公告）號: CN110427823B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 田永鴻;李家寧;朱林;付溢華;項錫捷;董思維;黃鐵軍
• 申請（專利權）人: 北京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本發明公開了一種基于視頻幀與脈沖陣列信號的聯合目標檢測方法和裝置，該方法包括：將視頻幀和脈沖陣列信號作為目標檢測的輸入；將連續的脈沖陣列信號進行自適應劃分；根據視頻幀頻率與脈沖陣列信號劃分頻率的關系，進行同步融合或異步融合檢測；將視頻幀與脈沖陣列信號以特征表達形式進行融合；輸出檢測結果。本發明可有效地利用脈沖陣列信號的高時間分辨率和高動態能力來提供傳統相機的目標檢測精度，尤其解決高速運動模糊、過曝光或低光照等場景的檢測難題。在無人駕駛視覺檢測與導航、無人機巡航與定位、機器人視覺導航和視頻監控等涉及高速運動領域存在廣泛應用潛力。

技術領域

本發明涉及計算機視覺技術領域，具體涉及一種基于視頻幀與脈沖陣列信號的聯合目標檢測方法與裝置。

背景技術

目標檢測的任務是找出視覺場景中所感興趣的目標對象，確定它們的位置與大小，是機器視覺領域的核心問題，在無人駕駛視覺檢測與導航、無人機巡航與定位、機器人視覺導航和視頻監控等領域廣泛應用。

視覺傳感器相比激光雷達和超聲波等，具有高的空間分辨率，同時捕獲充足的視頻數據，在目標檢測任務占重要的地位。傳統相機是基于固定曝光時間采樣，有固定時間間隔對光強積分構成的視頻幀(一般為30-120幀/秒)，在慢速場景和正常光照場景可捕獲場景的清晰的紋理細節，然而傳統相機的低時間分辨率和低動態光強感知范圍，在高速運動場景容易產生運動模糊，在過曝光場景和低光照場景無法清晰成像，使得傳統相機在高速運動和光照敏感場景的目標檢測面臨著重大挑戰。此外，基于幀的高速相機存在數據冗余量大、體積大和價格昂貴等劣勢。

生物視覺系統具有高清晰、低功耗、魯棒性強等優勢，同時能高效地進行光學信號處理、感知復雜場景和物體三維信息，理解和識別場景。近年來，仿視網膜傳感器是模仿生物視網膜視覺通路的成像機理，目前主要有動態視覺傳感器(Dynamic Vision Sensor,DVS)和超高速全時視覺傳感器(UltraSpeed Fulltime Sensor,UFS)。動態視覺傳感器是模擬神經元脈沖發放和視網膜外周細胞對亮度變化敏感機理的視覺傳感器，發放的神經脈沖信號是以時空稀疏脈沖陣列信號描述，相對傳統固定幀率相機具有高時間分辨率、高動態范圍、低功耗等優勢，但無法捕獲場景的紋理細節；超高速全時視覺傳感器是模擬視網膜中央凹清晰成像的機理，發放的神經脈沖信號是對場景的光強積分超過閾值，以時空稀疏脈沖信號全時記錄視覺信息，相比傳統固定幀率的相機具有高時間分辨率、高動態氛圍等優勢，同時相比動態視覺傳感器具有捕獲場景紋理細節的能力。

人類在視覺傳感器上取得了重大的進步，在實際復雜的任務上而遠不及生物視覺系統。傳統幀率視覺傳感器可采集到高清晰的圖像，但數據采集存在較大冗余、感光動態范圍小、固定幀率的時域分辨率低、在高速運動模糊等缺點。生物視覺系統具有高清晰、低功耗、魯棒性強等優勢，同時能高效地進行光學信號處理、感知復雜場景和物體三維信息，理解和識別場景。動態視覺傳感器是模仿神經元脈沖發放和視網膜外周細胞對亮度變化敏感機理的視覺傳感器，發放的神經脈沖信號是以時空稀疏脈沖陣列信號描述，相對傳統固定幀率相機具有高時間分辨率、高動態范圍、低功耗等優勢，在無人駕駛視覺傳感器、無人機視覺傳感器和機器人視覺導航定位等領域有著巨大市場應用潛力。

因此，如何對時空脈沖陣列進行特征表達，并利用仿視網膜傳感器的高時間分辨率、高動態范圍來解決傳統相機在高速運動、過光照和低光照場景的難以高精度檢測的問題，并充分利用傳統相機的高空間分辨率成像的優勢，是當前亟待解決的問題。同時，開發對視頻幀與脈沖陣列的聯合目標檢測方法與裝置是一個亟待解決的問題。

發明內容

針對上述現有技術存在的問題，本發明實施例提供了一種解決至少部分上述問題的基于視頻幀與脈沖陣列信號的聯合目標檢測方法與裝置。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現一些概念，以此作為后面的詳細說明的序言。

根據本發明的第一方面，提供一種基于視頻幀與脈沖陣列信號的聯合目標檢測方法，包括：