[發明專利]基于事件相機的連續稠密光流估計方法及系統

有效

• 申請號: 202010620378.7
• 申請日: 2020-06-30
• 公開（公告）號: CN111798484B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 余磊;付婧祎;楊文;陳欣宇
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T5/00;G06T7/269;H04N5/238;G06F17/18
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發明提供一種基于事件相機的連續稠密光流估計方法及系統，使用EDI模型重建任意時刻的清晰圖像，利用亮度恒定假設支持得到任意時刻的稀疏光流，所述EDI表示事件相機二重積分；通過添加HS約束或CLG約束，實現估計稠密光流，所述HS表示全局光流，所述CLG表示結合本地和全局光流。和現有技術相比，本發明提供了一種不受圖像模糊影響的光流估計方案，并在估計光流時引進了HS和CLG兩種約束方法，利用了事件流和灰度圖像的優勢，提高了光流估計的準確率，能夠支持高動態范圍和高速運動場景應用。

技術領域

本發明屬于圖像處理領域，特別涉及高動態范圍和高速運動場景下的光流估計技術。

背景技術

光流估計是計算機視覺領域的一個重要技術問題，近幾十年來受到了廣泛關注。傳統的視覺傳感器以固定的幀率采集圖像，存在一些技術限制，低幀率的相機在高速運動時會產生運動模糊，而高幀率的相機又需要較大功耗和帶寬。除此之外，傳統相機對光照變化比較敏感，在高動態光照場景下容易使圖像出現部分過曝或者欠曝的情況。運動模糊、過曝以及欠曝會使圖像損失紋理、梯度、邊緣等細節，影響輸出圖像的質量，進而降低光流估計的精度，因此基于傳統相機的光流估計方法難以應用于高速運動等場景下的視覺任務中。

受仿生學啟發的事件相機(Event Camera)是基于事件的傳感器，其工作原理與傳統的相機有很大的差別，如附圖1所示。事件相機模擬人體視網膜的成像原理，其像素陣列通過測量每個像素的光強變化，以微秒級響應速度輸出異步事件，輸出的事件數據包含像素點位置、時間戳以及極性信息。相比于傳統相機，事件相機具有高動態、高時間分辨率、低功耗的特性，可以提供傳統相機兩幀之間“盲時間”內的信息，為傳統相機在高速運動等場景下無法進行高精度光流估計的問題提供了解決方案。

目前，基于事件相機的光流估計方法主要分為單純基于事件流的方法，以及聯合事件流和灰度圖像的方法。單純基于事件流的方法，由于缺少亮度圖像，導致空間信息不足，從而會影響到光流估計的準確性，因此，更多的研究者將目光投向了聯合事件流和灰度圖像的方法，將事件流的高時間分辨率和灰度圖像的高空間保真度相結合。但是由于相機存在固有的模糊效果，在高速運動場景中，輸出的灰度圖像可能會存在模糊，也會降低光流的質量。因此，需要研究出一種新的不受灰度圖像模糊影響的光流估計方法，使事件相機的優勢得到更加充分的發揮。此外，在光流的計算中，根據所形成的光流場中二維矢量的疏密程度，可以將光流法分為稠密光流與稀疏光流兩種。稠密光流計算圖像上所有的點的偏移量，從而形成一個稠密的光流場。由于光流矢量稠密，所以其效果也明顯優于稀疏光流。因此，如果進行稠密光流的估計，可以使得所得光流更加準確，是本領域亟待解決的技術問題。

發明內容

基于以上分析，本發明的目的在于充分發揮事件相機在光流估計領域中的優勢，利用事件相機的特性設計出在高速運動等場景下的瞬時光流估計方法，提高光流估計的精度。

本發明的技術方案提供一種基于事件相機的連續稠密光流估計方法，包括使用EDI模型重建任意時刻的清晰圖像，利用亮度恒定假設支持得到任意時刻的稀疏光流，所述EDI表示事件相機二重積分；通過添加HS約束或CLG約束，實現估計稠密光流，所述HS表示全局光流，所述CLG表示結合本地和全局光流。

而且，所述使用EDI模型重建任意時刻的清晰圖像，利用事件生成模型計算任意時刻的稀疏光流，實現方式包括如下步驟，

步驟1.1，將在曝光時間T內生成的第i幀模糊亮度圖像表示為y[i]，使用EDI模型，用亮度圖像生成時間段內的事件點補償模糊亮度圖像，得到任意時刻f的清晰亮度圖像I(f)，

其中，E_i(f)表示第i幀模糊亮度圖像的生成時間T內產生事件點的二重積分：

步驟1.2，基于亮度恒定假設，結合EDI模型，得到光流的如下表達，