[發明專利]基于動態視覺傳感器的一體化成像識別方法

有效

• 申請號: 202011207554.0
• 申請日: 2020-11-03
• 公開（公告）號: CN112308087B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 吳金建;李漢標;杜從洋;石光明
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/30
• 分類號: G06V10/30;G06V10/28;G06V10/82;G06N3/0464;G06V10/774;H04N23/67
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

本發明提出了一種基于動態視覺傳感器的一體化成像識別系統和方法，旨在解決現有技術中存在的系統功耗較高和目標識別準確率較低的技術問題，成像識別方法包括以下步驟：鏡頭采集多幅圖像；動態視覺傳感器感知圖像灰度的變化；數據采集模塊中的處理器解析動態視覺傳感器輸出的信號，得到地址?事件數據流；目標識別模塊中的去噪子模塊對地址?事件數據流進行去噪；目標識別模塊中的分段子模塊對地址?事件數據流進行分段；目標識別模塊中的識別子模塊對地址?事件數據流進行識別；數據可視化模塊獲取成像識別結果。

技術領域

本發明屬于計算機視覺領域，涉及一種基于動態視覺傳感器的一體化成像識別系統和方法，可用于星載對地面目標的成像識別。

背景技術

基于傳統圖像傳感器的成像識別系統和方法目前應用廣泛，在安全警戒、海上檢測和道路交通狀況分析等方面發揮了巨大作用，但是這些基于傳統圖像傳感器的成像識別系統有很多缺陷，簡單來說，傳統的圖像傳感器是一種對能量進行積分的傳感器，積分過程往往要持續幾十毫秒，這延長了相機的響應時間，使得傳統圖像傳感器難以捕獲快速運動的目標。在積分過程中，如果目標相對傳統圖像傳感器發生了運動，就會導致傳統圖像傳感器輸出模糊的圖像。傳統圖像傳感器的另一個缺陷是所有的像素等效成像，所有的像素都會同時輸出數據，會產生大量無效數據，造成了數據冗余，給后端的計算、存儲等模塊帶來巨大的計算壓力，增加了系統的功耗。

動態視覺傳感器是一種視覺傳感器，動態視覺傳感器上每個像素單獨感光，當一個像素上的光強發生變化時，這個像素才會輸出一個表示光強變化的事件。動態視覺傳感器在光強變化時輸出數據，當光強沒有變化時，動態視覺傳感器便沒有數據輸出，所以動態視覺傳感器具有低功耗、低信息冗余的優點。動態視覺傳感器也起到了過濾背景的作用，減小了數據處理所需的計算量，因此也降低了整體系統的功耗。動態視覺傳感器在工作過程中也沒有對能量進行積分的過程，所以動態視覺傳感器的響應時間很短，可以捕獲快速運動的目標。

Arun?M.George等人在其發表的論文“A?Reservoir-based?ConvolutionalSpiking?Neural?Network?for?Gesture?Recognition?from?DVS?Input”(2020International?Joint?Conference?on?Neural?Networks)中提出了一種利用脈沖神經網絡對動態視覺傳感器的輸出數據進行目標識別的方法，這種方法利用了脈沖神經網絡對動態視覺傳感器的輸出數據進行壓縮，達到了較高的目標識別準確率，該方法存在的不足之處在于：該方法引入了事件預處理層對動態視覺傳感器的輸出數據進行重新編碼，運算速度慢，所用的脈沖神經網絡在非神經形態硬件上計算量比較大，目標識別速度慢，無法實現實時目標識別，并且脈沖神經網絡目前并沒有有效的監督訓練方法，在目標識別的應用上，脈沖神經網絡的性能并不優于傳統的卷積神經網絡。

Marco?Cannici等人在其發表的論文“A?Differentiable?Recurrent?Surfacefor?Asynchronous?Event-Based?Data”(2020arXiv.org)中提出了一種利用長短期記憶網絡對動態視覺傳感器的輸出事件流進行特征提取，并用卷積神經網絡對特征提取結果進行目標識別的方法，該方法存在的不足之處在于：在對動態視覺傳感器輸出的事件流進行特征提取的過程中，需要對事件流進行逐事件的特征提取，并且需要引入冗余信息，從而增加了卷積神經網絡進行目標識別時的計算量。

發明內容

本發明的目的在于克服上述現有技術存在的缺陷，提出了一種基于動態視覺傳感器的一體化成像識別系統和方法，旨在保證具有較高目標識別準確率的同時，提高成像識別效率，進而降低系統功耗。

為實現上述目的，本發明采用的技術方案為：

一種基于動態視覺傳感器的一體化成像識別系統，包括數據采集模塊、目標識別模塊和數據可視化模塊，其中：