[發明專利]基于仿生圖像傳感器的異步目標檢測方法、系統、終端及介質

在審

• 申請號: 202110406061.8
• 申請日: 2021-04-15
• 公開（公告）號: CN113128392A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 汪輝;萬吉祥;黃尊愷;祝永新;田犁;張峻愷;張欣瑤
• 申請（專利權）人: 中國科學院上海高等研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

1.一種基于仿生圖像傳感器的異步目標檢測方法，其特征在于，包括：

接收由仿生圖像傳感器實時記錄的在劃分的一或多個網格區域中發生的一或多個事件；其中，每個事件定義有該事件所發生的網格區域的位置信息；

當檢測到有發生在其上的事件個數達到設定閾值的網格區域出現時，將該網格區域作為補丁區域并記錄當前時刻；

基于事件編碼算法，將所述補丁區域中的各事件轉化為對應所述當前時刻的事件幀圖像；

將所述事件幀圖像輸入第一特征提取模型，獲得對應所述補丁區域的特征信息；

根據所述補丁區域的特征信息對初始特征圖進行特征更新，以獲得對應所述當前時刻的事件復用特征圖并進行保存，以作為下一次異步目標檢測的初始特征圖；

將所述事件復用特征圖輸入第二特征提取模型，獲得對應所述當前時刻的異步目標檢測結果。

2.根據權利要求1中所述的基于仿生圖像傳感器的異步目標檢測方法，其特征在于，所述第一特征提取模型以及所述第二特征提取模型均采用卷積神經網絡結構；其中，所述第一特征提取模型以及所述第二特征提取模型的訓練過程包括：

分別利用樣本圖像集以及與樣本圖像集中各樣本圖像的特征信息訓練所述第一特征提取模型以及所述第二特征提取模型。

3.根據權利要求1中所述的基于仿生圖像傳感器的異步目標檢測方法，其特征在于，所述根據所述補丁區域的特征信息對初始特征圖進行特征更新的方式包括：

根據所述補丁區域的特征信息，對初始特征圖對應補丁區域位置的區域的特征信息進行替換。

4.根據權利要求1中所述的基于仿生圖像傳感器的異步目標檢測方法，其特征在于，所述網格區域根據所述仿生圖像傳感器的視場范圍進行劃分。

5.根據權利要求1中所述的基于仿生圖像傳感器的異步目標檢測方法，其特征在于，所述將所述事件復用特征圖輸入第二特征提取模型，獲得對應所述當前時刻的異步目標檢測結果的方式包括：

將所述事件復用特征圖輸入第二特征提取模型，獲得對應所述事件復用特征圖的檢測結果；

將所述檢測結果進行非極大值抑制處理，獲得對應所述當前時刻的最終異步目標檢測結果。

6.根據權利要求1中所述的基于仿生圖像傳感器的異步目標檢測方法，其特征在于，所述事件編碼算法包括，但不限于：

其中，n表示像素(x，y)位置在固定時間間隔內發生事件的總次數，F(x，y)為所述像素(x，y)位置的像素值。

7.根據權利要求1中所述的基于仿生圖像傳感器的異步目標檢測方法，其特征在于，所述初始特征圖包括：對應首次異步目標檢測的無事件發生特征圖和/或對應非首次異步目標檢測的上一次異步目標檢測所保存的事件復用特征圖。

8.一種基于仿生圖像傳感器的異步目標檢測系統，其特征在于，包括：

接收模塊，用于接收由仿生圖像傳感器實時記錄的在劃分的一或多個網格區域中發生的一或多個事件；其中，每個事件定義有該事件所發生的網格區域的位置信息；

事件數檢測模塊，連接所述接收模塊，用于當檢測到有發生在其上的事件個數達到設定閾值的網格區域出現時，將該網格區域作為補丁區域并記錄當前時刻；

事件編碼模塊，連接所述事件數檢測模塊，用于基于事件編碼算法，將所述補丁區域中的各事件轉化為對應所述當前時刻的事件幀圖像；

補丁區域特征提取模塊，連接所述時間編碼模塊，用于將所述事件幀圖像輸入第一特征提取模型，獲得對應所述補丁區域的特征信息；

特征更新模塊，連接所述補丁區域特征提取模塊，用于根據所述補丁區域的特征信息對初始特征圖進行特征更新，以獲得對應所述當前時刻的事件復用特征圖并進行保存，以作為下一次異步目標檢測的初始特征圖；

異步目標檢測模塊，連接所述特征更新模塊，用于將所述事件復用特征圖輸入第二特征提取模型，獲得對應所述當前時刻的異步目標檢測結果。