[發明專利]基于動態視覺傳感器的一體化成像識別方法

有效

• 申請號: 202011207554.0
• 申請日: 2020-11-03
• 公開（公告）號: CN112308087B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 吳金建;李漢標;杜從洋;石光明
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/30
• 分類號: G06V10/30;G06V10/28;G06V10/82;G06N3/0464;G06V10/774;H04N23/67
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

1.一種基于動態視覺傳感器的一體化成像識別系統的成像識別方法，其特征在于，包括如下步驟：

(1)數據采集模塊中的鏡頭采集彩色圖像：

數據采集模塊中的鏡頭采集R幅聚焦后的彩色圖像P＝{P_r|0＜r≤R}，P_r表示第r幅彩色圖像，R＞1；

(2)數據采集模塊中的動態視覺傳感器獲取每幅聚焦后圖像P_r的灰度信息變化的信號：

數據采集模塊中的動態視覺傳感器感知每幅聚焦后圖像P_r的灰度信息變化，得到表示圖像灰度信息變化的信號C＝{C_r|0＜r≤R}，其中C_r表示P_r對應的包括N_r個事件的灰度信息變化的信號，C_r＝{c_r,n＝(x_r,n,y_r,n,g_r,n,t_r,n)|0＜n≤N_r}，N_r＞0，c_r,n表示第n個事件，x_r,n和y_r,n分別表示c_r,n的觸發位置像素的橫坐標和縱坐標，g_r,n表示c_r,n的灰度值，g_r,l≥0，t_r,n表示c_r,n的觸發的時間；

(3)數據采集模塊中的處理器對表示圖像灰度信息變化的信號C進行解析：

(3a)構建全零矩陣M＝zeros(H,W)，其中H和W分別表示動態視覺傳感器感光部分縱向像素和橫向像素的個數，H≥32，W≥32，并令M中的每一個元素m＝0；

(3b)設c_r,n的解析結果為e_r,n＝(x_r,n,y_r,n,p_r,n,t_r,n)，其中p_r,n表示e_r，n的極性，并令r＝1；

(3c)令n＝1；

(3d)判斷是否成立，若是，令p_r,n＝+1,否則,令p_r,n＝-1，其中表示M中與c_r,n位置對應的元素；

(3e)令并判斷n＜N_r是否成立，若是，令n＝n+1，并執行步驟(3d)，否則，得到C_r解析后的地址-事件數據流A_r＝{e_r,n＝(x_r,n,y_r,n,p_r,n,t_r,n)|0＜n≤N_r}；

(3f)判斷r＜R是否成立，若是，令r＝r+1，執行步驟(3c)，否則，得到C解析后的地址-事件數據流集合A＝{A_r|0＜r≤R}；

(4)目標識別模塊對地址-事件數據流集合A進行去噪：

目標識別模塊中的去噪子模塊對每個地址-事件數據流A_r進行去噪，得到去噪后的地址-事件數據流集合A'＝{A_r'|0＜r≤R}并輸出，其中A_r'表示A_r對應的去噪后的地址-事件數據流，A_r'＝{e_r,j＝(x_r,j,y_r,j,p_r,j,t_r,j)|0＜j≤N_r'},0＜N_r'≤N_r；

(5)目標識別模塊對每個去噪后的地址-事件數據流A_r'進行分段：

目標識別模塊中的劃分子模塊采用時間閾值和局部事件數閾值法，對每個去噪后的地址-事件數據流A_r'進行分段，若A_r'中的剩余事件不足以分段，則將A_r'中的剩余事件丟棄，得到地址-事件數據流段集合D＝{B_r|0＜r≤R}，其中B_r表示A_r'分段后的地址-事件數據流段子集合B_r＝{E_r,k|0≤k≤M_r}，E_r,k表示第k個地址-事件數據流段，E_r,k＝{e_r,k,h＝(x_r,k,h,y_r,k,h,p_r,k,h,t_r,k,h)|0＜h≤L_r,k}，L_r,k表示E_r,k中包含的事件數的總數，1≤L_r,k≤N_r'，e_r,k,h＝(x_r,k,h,y_r,k,h,p_r,k,h,t_r,k,h)表示E_r,k中第h個事件，M_r表示地址-事件數據流段的總數，M_r＞0；

(6)目標識別模塊對每個地址-事件數據流段E_r,k進行目標識別：

(6a)構建全零矩陣M₁＝zeros(H,W)和M₂＝zeros(H,W)，并令M₁和M₂中的每一個元素m₁＝0，m₂＝0，令r＝1；

(6b)令k＝1；

(6c)令h＝1；

(6d)目標識別模塊中的識別子模塊判斷E_r,k中的每個事件e_r,k,h的極性p_r,k,h＝+1是否成立，若是，令否則，令其中，表示矩陣M₁中下標為(x_r,k,h,y_r,k,h)的元素，表示矩陣M₂中下標為(x_r,k,h,y_r,k,h)的元素；

(6e)目標識別模塊中的識別子模塊判斷h＜L_r,k是否成立，若是，令h＝h+1，并執行步驟(6d)，否則，構建以M₁和M₂為分別通道的三維全零矩陣I＝zeros(2,H,W)，并執行步驟(6f)；

(6f)將I作為預訓練的卷積神經網絡的輸入進行目標識別，得到對地址-事件數據流段E_r,k的目標識別結果Label_r,k并輸出，并執行步驟(6g)，其中Label_r,k表示E_r,k的類別標簽；

(6g)目標識別模塊中的識別子模塊判斷k＜M_r是否成立，若是，令k＝k+1,并執行步驟(6c),否則，得到對B_r識別結果集合Label_r＝{Label_r,k|0＜k≤M_r}，并執行步驟(6h)；

(6h)目標識別模塊中的識別子模塊判斷r＜R是否成立，若是，令r＝r+1，并執行步驟(6b)，否則，得到對D的識別結果集合Label＝{Label_r|0＜r≤R}；

(7)數據可視化模塊獲取成像識別結果：

數據可視化模塊采用全局事件數閾值法對每個地址-事件數據流段E_r,k進行可視化，得到圖像幀集合Q＝{Q_r|0＜r≤R}，Q_r表示B_r所對應的圖像幀，Q_r＝{Q_r,k|0＜k≤M_r}，Q_r,k表示E_r,k對應的圖像幀。