[發明專利]一種事件數據的配準方法與系統

有效

• 申請號: 202010549570.1
• 申請日: 2020-06-16
• 公開（公告）號: CN111696143B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 高躍;李思奇
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06V10/46;G06V10/75;G06F17/16
• 代理公司: 北京律譜知識產權代理有限公司 11457
• 代理人: 黃云鐸;孫紅穎

本發明公開了一種事件數據的配準方法，該方法包括以下步驟：步驟1、獲取雙目事件數據，利用雙目事件相機獲取不同視角事件流數據；步驟2、完成事件圖像轉換，將所述雙目事件數據轉化為事件圖像；步驟3、進行事件圖像特征點檢測，對上述事件圖像執行特征點檢測，獲取候選特征點集并提取特征向量；步驟4、進行事件圖像特征點匹配，計算獲得候選特征點集間匹配關系；步驟5、完成配準變換矩陣計算，根據上述特征點匹配關系，計算配準變換矩陣。該發明的事件數據配準方法，可以有效實現事件數據配準。

技術領域

本發明涉及計算機視覺及計算攝像學領域，尤其涉及一種事件數據配準方法及系統。

背景技術

事件相機是一種受生物啟發的傳感器，工作原理與傳統的相機有很大的差別。與傳統相機以固定幀率采集場景絕對光強不同，這種相機當且僅當場景光強變化時輸出數據，這種輸出的數據稱為事件流。與傳統相機相比，事件相機有著高動態范圍、高時間分辨率、無動態模糊等優點。

事件相機作為一種新型視覺傳感器，其輸出數據的形式與傳統相機完全不同，無法直接應用傳統相機及圖像的各種算法。傳統相機以固定速率(即幀率)采集場景的光強值，并以固定速率輸出為圖片數據。事件相機則沒有幀率的概念，其每個像素點異步工作，當檢測到光強變化時輸出一條事件。每條事件為一個四元組(x,y,t,p)，包含像素橫縱坐標(x,y)、時間戳t和事件極性p(其中，p＝-1表示該像素點光強減小，p＝1表示該像素點光強增大)。所有像素點輸出的事件數據匯總起來，形成由一條條事件組成的事件列表，作為相機輸出的事件流數據。一個長度為20秒傳統相機獲得的視頻數據，和與之對應的事件相機輸出的事件流數據的實例如圖1所示。因此，傳統相機及傳統圖像處理領域中適用的各種算法及方法，均無法直接使用于事件相機及事件數據。

針對傳統相機及傳統圖像數據，目前有許多較為成熟的圖像配準方法。但由于事件相機輸出事件流數據，與傳統相機存在較大差別，無法直接使用現有的圖像配準方法。即，目前缺乏對于事件流數據進行配準的相關技術方法。

發明內容

為解決目前缺乏對于事件流數據進行配準的相關技術方法，本發明提出一種事件數據的配準方法，可以有效配準事件數據。

本發明提供了一種事件數據的配準方法，其特征是，包括如下步驟：

步驟1、獲取雙目事件數據，獲取雙目事件流數據，其中，雙目事件流數據由兩個不同位置的同步事件相機獲?。?/p>

步驟2、完成事件圖像轉換，處理雙目事件流數據，每個視角的事件流數據轉化為一張兩通道的事件計數圖像，事件計數圖像的每個像素點統計發生在該像素點的正負事件數目；

步驟3、進行事件圖像特征點檢測，利用Speeded Up Robust Features(SURF)算法對多視角事件計數圖像實施特征點檢測和特征向量提取，獲取每個視角的事件計數圖像的特征點集合及每個特征點的特征向量；

步驟4、進行事件圖像特征點匹配，取第一個視角的事件相機所獲取的事件流數據作為參考視角，第二個視角作為非參考視角，對非參考視角的特征點集合與參考視角特征點集合實施特征匹配，獲取匹配關系；

步驟5、完成配準變換矩陣計算，根據相互匹配的特征點坐標，計算非參考視角相對于參考視角的配準變換矩陣。

本發明還提供了一種事件數據的配準系統，包括：雙目事件數據獲取單元，事件圖像轉換單元，事件圖像特征點檢測單元，事件圖像特征點匹配單元，配準變換矩陣計算單元；其特征在于：

雙目事件數據獲取單元，獲取雙目事件流數據，其中，雙目事件流數據由多個不同位置的同步事件相機獲??；

事件圖像轉換單元，處理雙目事件流數據，每個視角的事件流數據轉化為一張兩通道的事件計數圖像，事件計數圖像的每個像素點統計發生在該像素點的正負事件數目；