[發明專利]一種基于事件相機的數據關聯方法

在審

• 申請號: 202010967054.0
• 申請日: 2020-09-15
• 公開（公告）號: CN112131991A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 王菡子;陳昊升;林舒源
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/246;G06T7/73
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

一種基于事件相機的數據關聯方法，涉及計算機視覺。將事件相機感應環境中物體運動生成的異步時空視覺事件序列聚合成視覺事件的集合；將時空三維空間在時間維度上切片，在最早和最晚的兩個切片上窮舉采樣，生成對應的直線模型假設集合，選出代表性模型假設集合，對每一個模型假設生成模型假設的內點集合；對代表性模型假設集合內每一個模型假設，計算內點集合在時間軸上的離差，對每個代表性模型假設賦予相應的權重；根據內點集合投影在圖像平面生成的視覺事件圖像的對比度進一步加權；在權重的肘點處將代表性模型假設集合選擇區分為正確和錯誤的模型假設，正確的模型假設對應場景內的所有物體的運動軌跡?？捎糜谀繕烁?、運動分割等。

技術領域

本發明涉及計算機視覺技術，尤其是涉及一種基于事件相機的數據關聯方法。

背景技術

事件相機(Event Camera)是受生物視網膜運行機制啟發發明，最近三年間在學術和工業界都得到廣泛關注和快速發展的新型視覺傳感器。它具有：(1)異步性：每個像素點可以單獨被觸發，不需要像傳統相機一樣同步曝光獲取圖像幀。取而代之的是事件相機僅在運動發生的像素上產生像素值指數級別變亮(On)和變暗(Off)的兩種事件用于記載相關的運動物體信息。這種機制與生物的視網膜類似，所以事件相機也被稱為硅視網膜；(2)非常低的響應延遲：事件相機具有非常低的響應延遲，它可以達到微秒(10^-6秒)級別的時間精度。所以對于事件相機來說，它幾乎不可能產生普通相機在高速移動過程中所產生的運動模糊問題；(3)高動態響應范圍(HDR)：事件相機可以達到1000lux的動態范圍，能夠準確反映運動在高、低光照場景下造成的像素灰度值變化，基本不會受到場景的明暗條件影響。這些獨特、優秀的特性可以有效彌補基于傳統RGB相機的不足。但是由于事件相機的這些屬性，它只能記錄一個無序的異步時空視覺事件序列，而不是傳統的同步視頻圖像幀。所以需要有效的數據關聯方法把所記錄序列中的異步時空視覺事件關聯起來，用于之后的高層計算機視覺任務，尤其是物體運動分析相關的任務，比如：目標跟蹤、運動分割等。

基于事件相機的計算機視覺方法研究雖然得到快速發展和廣泛關注，但是由于相關研究的難度，到目前為止有價值的相關研究成果為數不多。這些研究成果基本來自國外的相關研究，國內暫時沒有相關的研究出現。其中，基于事件相機的數據關聯方法的相關研究因為其自身的難度，其發展仍在非常初期的階段。該方向已知的研究包括：Alex ZihaoZhu等人(Zhu,Alex Zihao,Nikolay Atanasov,and Kostas Daniilidis.2017.Event-based feature tracking with probabilistic data association.In Proceedings ofIEEE International Conference on Robotics and Automation(ICRA),4465–4470.)針對事件相機提出一種基于概率模型的數據關聯方法。Guillermo Gallego等人(Gallego,Guillermo,Henri Rebecq,and Davide Scaramuzza,2018,A unifying contrastmaximization framework for event cameras,with applications to motion,depth,and optical flow estimation.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition(CVPR),3867-3876)針對事件相機提出一種通用的基于最大化事件對比度的數據關聯方法，并對其進行了改進優化。這些先驅研究都實驗驗證了基于事件相機的數據關聯方法在物體運動相關如：目標跟蹤、運動分割等任務上的優異性，同時也對更有效的基于事件相機的數據關聯方法提出了期望。

發明內容

本發明的目的在于提出針對現有技術存在的上述不足，提供具有較高精度和魯棒性，在快速運動和高動態范圍場景下能夠展現出較好效果的一種基于事件相機的數據關聯方法。