[發明專利]一種大場景動態視覺觀測方法及裝置

有效

• 申請號: 202010548500.4
• 申請日: 2020-06-16
• 公開（公告）號: CN111696044B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 高躍;李思奇
• 申請（專利權）人: 清華大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/33;G06T5/50;G06V10/46;G06V10/74;G06V10/80;G06F17/16
• 代理公司: 北京律譜知識產權代理有限公司 11457
• 代理人: 黃云鐸;孫紅穎

本發明公開了一種大場景動態視覺觀測方法，該方法包括以下步驟：多視角事件數據獲取步驟，利用事件相機陣列獲取多視角事件流數據；多視角事件圖像轉換步驟，將事件流數據轉化為事件計數圖像；事件圖像特征點檢測步驟，對上述事件計數圖像執行特征點檢測與特征向量提取；事件圖像特征點匹配步驟，計算獲得特征點之間的匹配關系；空間坐標變換矩陣計算步驟，根據上述特征點匹配關系，計算空間坐標變換矩陣；多視角事件流數據融合步驟，將多視角事件流數據進行空間坐標變換，拼接變換后的多視角事件流數據，獲取大場景動態觀測事件流數據。本發明在基于事件相機的場景動態視覺觀測的基礎上，獲得更大視場范圍的大場景動態觀測效果。

技術領域

本發明涉及計算機視覺及計算攝像學領域，尤其涉及一種大場景動態視覺觀測方法及裝置。

背景技術

事件相機是一種受生物啟發的傳感器，工作原理與傳統的相機有很大的差別。與傳統相機以固定幀率采集場景絕對光強不同，這種相機當且僅當場景光強變化時輸出數據，這種輸出的數據稱為事件流。與傳統相機相比，事件相機有著高動態范圍、高時間分辨率、無動態模糊等優點。

事件相機作為一種新型視覺傳感器，其輸出數據的形式與傳統相機完全不同，無法直接應用傳統相機及圖像的各種算法。傳統相機以固定速率(即幀率)采集場景的光強值，并以固定速率輸出為圖片數據。事件相機則沒有幀率的概念，其每個像素點異步工作，當檢測到光強變化時輸出一條事件。每條事件為一個四元組(x,y,t,p)，包含像素橫縱坐標(x,y)、時間戳t和事件極性p(其中，p＝-1表示該像素點光強減小，p＝1表示該像素點光強增大)。所有像素點輸出的事件數據匯總起來，形成由一條條事件組成的事件列表，作為相機輸出的事件流數據。一個長度為20秒傳統相機獲得的視頻數據，和與之對應的事件相機輸出的事件流數據的實例如圖1所示。因此，傳統相機及傳統圖像處理領域中適用的各種算法及方法，均無法直接使用于事件相機及事件數據。

單一傳統相機存在視場范圍小的問題，并可以采用多視角相機陣列獲取多視角的圖像，利用圖像配準及拼接技術實現大視場觀測的目的。單一事件相機同樣存在視場范圍小的問題，但由于事件相機輸出事件流數據，與傳統相機存在較大差別，無法直接使用現有圖像配準與拼接技術方法。即，目前缺乏對于多視角事件流數據進行配準及融合的相關技術方法。

發明內容

為解決目前缺乏對于多視角事件流數據進行配準及融合相關技術方法的問題，本發明提供了一種大場景動態視覺觀測方法及裝置，可以實現對于多視角事件相機所獲取事件流數據的配準與融合，即實現更大視場的事件流數據的獲取。

本發明提供了一種大場景動態視覺觀測方法，其特征在于，包括如下步驟：

步驟1、多視角事件數據獲取，獲取多視角事件流數據，其中，多視角事件流數據由同步的事件相機陣列獲取；

步驟2、多視角事件圖像轉換，處理多視角事件流數據，每個視角的事件流數據轉化為一張兩通道的事件計數圖像，事件計數圖像的每個像素點統計發生在該像素點的正負事件數目；

步驟3、事件圖像特征點檢測，利用Speeded Up Robust Features(SURF)算法對多視角事件計數圖像實施特征點檢測和特征描述，獲取每個視角的事件計數圖像的特征點集合及每個特征點的特征描述；

步驟4、事件圖像特征點匹配，取第一個視角的事件相機所獲取的事件流數據作為參考視角，其余視角作為非參考視角，對每個非參考視角的特征點集合依次與參考視角特征點集合實施特征匹配，獲取匹配關系；

步驟5、空間坐標變換矩陣計算，根據相互匹配的特征點坐標，計算每個非參考視角相對于參考視角的空間坐標變換矩陣；

步驟6、多視角事件流數據融合，將多視角事件流數據利用上述空間坐標變換矩陣進行空間坐標變換，拼接變換后的事件流數據，獲取大場景動態觀測事件流數據。