[發明專利]基于仿生圖像傳感器的異步目標檢測方法、系統、終端及介質

在審

• 申請號: 202110406061.8
• 申請日: 2021-04-15
• 公開（公告）號: CN113128392A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 汪輝;萬吉祥;黃尊愷;祝永新;田犁;張峻愷;張欣瑤
• 申請（專利權）人: 中國科學院上海高等研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

本發明的基于仿生圖像傳感器的異步目標檢測方法、系統、終端及介質，通過接收來自仿生圖像傳感器輸出的在劃分的一或多個網格區域中發生的異步地址事件，只需要重新計算發生變化網格區域所對應的特征，而其他未發生變化區域的特征可以直接復用上一幀提取的結果，可以有效避免輸入圖像的重復特征提取，降低檢測過程中的計算復雜度；本發明還通過單獨記錄每個網格區域事件變化，會保留事件數量不足的網格，直到事件數積累到足夠豐富表征目標才會輸入到檢測網絡中。如此可以確保所有目標不會被漏檢或誤檢，進而提升模型對目標的檢測準確率。

技術領域

本申請涉及異步目標檢測技術領域，尤其涉及基于仿生圖像傳感器的異步目標檢測方法、系統、終端及介質。

背景技術

異步目標檢測作為計算機視覺的基本任務之一，主要解決的是圖像中感興趣物體的識別和定位問題，為圖像和視頻的語義理解提供有價值的信息，是后續目標跟蹤、實例分割、視頻行為分析等任務的重要基石?；诋惒侥繕藱z測獲取的位置和類別信息，就可以對識別出的目標區域執行更復雜的分析，例如人員識別或屬性分析。由于這種分析需要更多的計算資源，所以通過專注于目標真實位置來減少計算量至關重要。

常規的計算機視覺算法通常都是在一系列連續的圖像幀的基礎上進行的，這些圖像幀是由有源像素傳感器以固定頻率捕捉的信息所組成。為了檢測到物體的高速運動狀態，傳感器必須以非常高的幀率運行，輸出的圖像流中包含大量與運動目標無關的冗余數據。在神經網絡模型提取感興趣的特征之前，這些冗余數據也會參與讀取、傳輸和額外的計算處理，增加了不必要的傳輸存儲和計算開銷。此外，在捕捉快速運動的物體時，基于幀的傳感器會導致連續兩幀之間的運動模糊和運動軌跡的丟失，從而限制了物體檢測的精度。通過采用昂貴的高速攝像機可以一定程度上緩解快速目標的檢測精度問題，但會引入更多的冗余數據和巨大的計算成本。

發明內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供基于仿生圖像傳感器的異步目標檢測方法、系統、終端及介質，解決現有技術中的基于仿生圖像傳感器的異步目標檢測方法會造成大量計算量和內存的浪費以及限制了檢測的精度。

為實現上述目標及其他相關目標，本申請提供一種基于仿生圖像傳感器的異步目標檢測方法，包括：接收由仿生圖像傳感器實時記錄的在劃分的一或多個網格區域中發生的一或多個事件；其中，每個事件定義有該事件所發生的網格區域的位置信息；當檢測到有發生在其上的事件個數達到設定閾值的網格區域出現時，將該網格區域作為補丁區域并記錄當前時刻；基于事件編碼算法，將所述補丁區域中的各事件轉化為對應所述當前時刻的事件幀圖像；將所述事件幀圖像輸入第一特征提取模型，獲得對應所述補丁區域的特征信息；根據所述補丁區域的特征信息對初始特征圖進行特征更新，以獲得對應所述當前時刻的事件復用特征圖并進行保存，以作為下一次異步目標檢測的初始特征圖；將所述事件復用特征圖輸入第二特征提取模型，獲得對應所述當前時刻的異步目標檢測結果。

于本申請的一或多個實施例中，所述第一特征提取模型以及所述第二特征提取模型均采用卷積神經網絡結構；其中，所述第一特征提取模型以及所述第二特征提取模型的訓練過程包括：分別利用樣本圖像集以及與樣本圖像集中各樣本圖像的特征信息訓練所述第一特征提取模型以及所述第二特征提取模型。

于本申請的一或多個實施例中，所述根據所述補丁區域的特征信息對初始特征圖進行特征更新的方式包括：根據所述補丁區域的特征信息，對初始特征圖對應補丁區域位置的區域的特征信息進行替換。

于本申請的一或多個實施例中，所述網格區域根據所述仿生圖像傳感器的視場范圍進行劃分。

于本申請的一或多個實施例中，所述將所述事件復用特征圖輸入第二特征提取模型，獲得對應所述當前時刻的異步目標檢測結果的方式包括：將所述事件復用特征圖輸入第二特征提取模型，獲得對應所述事件復用特征圖的檢測結果；將所述檢測結果進行非極大值抑制處理，獲得對應所述當前時刻的最終異步目標檢測結果。