[發明專利]一種大場景動態視覺觀測方法及裝置

有效

• 申請號: 202010548500.4
• 申請日: 2020-06-16
• 公開（公告）號: CN111696044B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 高躍;李思奇
• 申請（專利權）人: 清華大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/33;G06T5/50;G06V10/46;G06V10/74;G06V10/80;G06F17/16
• 代理公司: 北京律譜知識產權代理有限公司 11457
• 代理人: 黃云鐸;孫紅穎

1.一種大場景動態視覺觀測方法，其特征在于，包括如下步驟：

步驟1、多視角事件數據獲取，獲取多視角事件流數據，其中，多視角事件流數據由同步的事件相機陣列獲取；

步驟2、多視角事件圖像轉換，處理多視角事件流數據，每個視角的事件流數據轉化為一張兩通道的事件計數圖像，事件計數圖像的每個像素點統計發生在該像素點的正負事件數目；

步驟3、事件圖像特征點檢測，利用Speeded Up Robust Features(SURF)算法對多視角事件計數圖像實施特征點檢測和特征描述，獲取每個視角的事件計數圖像的特征點集合及每個特征點的特征描述；

步驟4、事件圖像特征點匹配，取第一個視角的事件相機所獲取的事件流數據作為參考視角，其余視角作為非參考視角，對每個非參考視角的特征點集合依次與參考視角特征點集合實施特征匹配，獲取匹配關系；

步驟5、空間坐標變換矩陣計算，根據相互匹配的特征點坐標，計算每個非參考視角相對于參考視角的空間坐標變換矩陣；

步驟6、多視角事件流數據融合，將多視角事件流數據利用上述空間坐標變換矩陣進行空間坐標變換，拼接變換后的事件流數據，獲取大場景動態觀測事件流數據。

2.如權利要求1的大場景動態視覺觀測方法，其特征在于，步驟2中，事件計數圖像具體轉換公式如下所示：

其中，I為事件計數圖像，x_i為第i個事件的空間橫坐標，y_i為第i個事件的空間縱坐標，p_i為第i個事件的極性，N為事件流數據中的總事件數，δ為單位脈沖函數。

3.如權利要求1的大場景動態視覺觀測方法，其特征在于，步驟4 中，特征點匹配關系采用如下算法獲得：

其中，A與B分別為參考視角a和任一非參考視角b的事件計數圖像提取的特征點集合，A_i表示特征點集合A中第i個特征點，表示該特征點的特征向量，B_j表示特征點集合B中第j個特征點，表示該特征點的特征向量，對特征點集合A中的特征點A_i，A_i匹配的特征點為特征點集合B中的特征點B_j。

4.如權利要求1的大場景動態視覺觀測方法，其特征在于，步驟5中，空間坐標變換矩陣由如下算法獲得：

其中，為參考視角a的事件計數圖像所提取的特征點集合A中第i個特征點A_i的坐標，為任一非參考視角b的事件計數圖像所提取的特征點集合特征點集B中與特征點A_i匹配的特征點B_i的坐標，N為特征點集合A與特征點集合B中所匹配的特征點對的總數，H_ab為非參考視角b相對于參考視角a的空間坐標變換矩陣。

5.如權利要求1的大場景動態視覺觀測方法，其特征在于，步驟6中，大場景動態觀測事件流數據由如下算法獲得：

ε＝ε₁Uε′₂U…Uε′_N

其中，ε為拼接后的大場景動態觀測事件流，ε₁為參考視角的事件相機采集的事件流數據，ε′_j為第j個視角的事件相機采集的事件流數據經過空間坐標變換矩陣運算后得到的事件流數據，N為多視角事件相機陣列中事件相機個數，H_1j為第j個非參考視角相對于參考視角的空間坐標變換矩陣，x_i^j為第j個視角的事件相機采集的事件數據中第i個事件的原始空間橫坐標，y_i^j為第j個視角的事件相機采集的事件數據中第i個事件的原始空間縱坐標，t_i^j為第j個視角的事件相機采集的事件數據中第i個事件觸發的時間戳，p_i^j為第j個視角的事件相機采集的事件數據中第i個事件的極性， 為第j個視角的事件相機采集的事件數據中第i個事件經過空間坐標變換矩陣運算后得到的橫坐標，為第j個視角的事件相機采集的事件數據中第i個事件經過空間坐標變換矩陣運算后得到的縱坐標。