[發明專利]一種運動目標檢測跟蹤方法

有效

• 申請號: 202110255763.0
• 申請日: 2021-03-09
• 公開（公告）號: CN113034542B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 黃鐵軍;鄭雅菁;余肇飛;田永鴻
• 申請（專利權）人: 北京大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/762;G06N3/049;G06N3/06
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 付婧

本申請涉及運動檢測技術領域，具體而言，本申請涉及一種運動目標檢測跟蹤方法。所述方法包括以下步驟：采集監測區域的時空信號生成時空脈沖陣列；對所述時空脈沖陣列進行運動檢測并生成對應的脈沖編碼序列；將所述時空脈沖陣列輸入脈沖神經網絡中，所述脈沖神經網絡根據所述時空脈沖陣列的發放模式進行聚類；結合所述脈沖編碼序列和所述聚類結果獲得目標的運動信息和位置信息；根據所述目標的運動信息和位置信息進行狀態預測，將預測結果反饋到進行聚類的所述脈沖神經網絡，以輔助修正預測時產生的誤差。本申請的所述方法可分析獲取如運動物體位置、大小、運動方向、運動速度等等運動信息，從而實現對不同運動目標的檢測跟蹤及運動軌跡的預測。

技術領域

本申請涉及運動檢測技術領域，更為具體來說，本申請涉及一種運動目標檢測跟蹤方法。

背景技術

區別于通過固定曝光時間產生圖片的傳統相機，神經視覺傳感器仿照生物視網膜根據外界光照環境產生脈沖信號的原理，基于監測區域中采樣得到光信號變化產生脈沖信號。神經視覺傳感器產生脈沖信號的時間分辨率可以控制在數十微秒以內，結合其采樣機制可更容易采集場景中變化的視覺信息，自然比傳統相機更適合獲取運動物體的信息，如在相機或檢測目標運動速度過快時，傳統相機產生的圖片會有運動模糊的現象。

然而，由于監測區域中不同運動物體彼此之間可能會有遮擋，或由于相機運動導致大量脈沖信號的產生，使得運動物體對應的脈沖信號很難從中分辨出來，區別不同運動物體和相機自運動的視覺信息本身就是一種挑戰性的任務。此外，神經形態傳感器的輸出是事件或脈沖形式，天然適合作為脈沖神經網絡這種低功耗、低延遲的模型的輸入。但是目前仍然沒有基于脈沖神經網絡的方法可根據脈沖序列的信息進行運動物體的檢測與跟蹤。

因此，為了解決上述問題，本發明提出一種基于脈沖神經網絡的運動目標檢測跟蹤方法，以至少部分地解決上述技術問題。

發明內容

本發明主要提出一種運動目標檢測跟蹤方法，該技術可應用于神經形態視覺芯片產生的脈沖陣列。目的是利用高頻率視網膜相機獲得的脈沖陣列本身具有的時空特性，仿照生物視覺特性，直接以視覺脈沖序列為輸入，區別不同運動物體和相機自運動的視覺信息，并分析獲取這些運動分別對應的信息，如運動物體位置、大小、運動方向、運動速度等等，實現對不同運動目標的檢測跟蹤，及運動軌跡預測。

首先根據運動狀態來對不同的運動物體進行聚類，聚類方法采用的是學習一個運動狀態生成器，學習檢測到運動信息中隱藏的各種狀態分布。聚類之后獲得各個類別對應的運動信息，根據運動狀態生成器所得各類的運動模型可預測不同物體下一時刻的運動狀態，并為下一時刻的脈沖陣列進行物體類別的初始化，最后結合下個時刻的脈沖陣列運動檢測結果與預測值的差異更新運動模型參數。

為實現上述技術目的，本申請提供了一種運動目標檢測跟蹤方法，包括以下步驟：

采集監測區域的時空信號生成時空脈沖陣列；

對所述時空脈沖陣列進行運動檢測并生成對應的脈沖編碼序列；

將所述時空脈沖陣列輸入脈沖神經網絡中，所述脈沖神經網絡根據所述時空脈沖陣列的發放模式進行聚類；

結合所述脈沖編碼序列和所述聚類的結果獲得目標的運動信息和位置信息；

根據所述目標的運動信息和位置信息進行狀態預測，將預測結果反饋到進行聚類的所述脈沖神經網絡，以輔助修正預測時產生的誤差。

具體地，所述對所述時空脈沖陣列進行運動檢測，包括：對各個局部空間位置的時空信號進行時域上的對比，獲得各個局部空間位置在時域上的運動信息，所述運動信息含速度和朝向。

具體地，所述對所述時空脈沖陣列進行運動檢測并生成對應的脈沖編碼序列，包括：根據各個局部空間位置的運動信息按照運動模式的相似性進行編碼，或同時結合空間信息和運動信息進行編碼。