[發(fā)明專利]基于流形約束的事件相機圖像重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010622690.X
• 申請日: 2020-06-30
• 公開（公告）號: CN111798370A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設計）人: 余磊;江盟;王碧杉;楊文
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/00;G06T5/50;G06F17/16
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

1.一種基于流形約束的事件相機圖像重建方法，其特征在于，包括以下步驟：

步驟1，事件相機同時輸出強度圖像序列和事件流；

步驟2，對相機輸出的每幀圖像Y_i，根據(jù)該幀的時間戳t_i提取曝光時間[t_i-T/2,t_i+T/2]內的事件流，利用事件時間戳構建事件流形，其中，T為曝光時間長度；構建事件流形的實現(xiàn)方式如下，

首先通過圖像到流形曲面的映射，將曲面S定義為時間函數(shù)的圖結構，

其中，X∈S表示流形上的一個三維點，曲面S是流形的幾何表示，時間圖像t(x,y)記錄了每個像素(x,y)處事件的最新時間戳；表示二維圖像域到三維流形曲面的映射關系；

步驟3，建立事件的雙積分模型，該模型建立構建相機捕獲的圖像與重建的灰度圖像序列以及曝光時間內的事件流之間線性的關系：

其中，I(f)是在當前相機拍攝的圖像的曝光時間內任意時刻f∈[t_i-T/2,t_i+T/2]處的圖像強度，J_i(f)表示在f時刻從第i幀圖像對應曝光時間內的事件流中計算出的雙積分圖像信號；exp()表示指數(shù)函數(shù)，τ為積分符號，e()表示事件；

步驟4，利用事件時間戳定義事件流形，結合事件的空間和時間信息，將重建問題轉化為由事件流形定義的流形正則項下的變分模型，得到能量函數(shù)的離散化形式如下所示，

其中，L_g為事件流形上的梯度算子，表示圖像的空間梯度算子，表示去噪后的雙積分圖像，I為需要估計的重建圖像，(u,v)為圖像的像素坐標索引，圖像大小為M×N，Y_uv表示在像素坐標(u,v)處原始圖像的元素，I_uv表示在像素坐標(u,v)處重建的圖像矩陣的元素，J_uv表示在像素坐標(u,v)處雙積分圖像矩陣的元素，表示在像素坐標(u,v)處去噪后的雙積分圖像矩陣的元素，G_uv表示在像素坐標(u,v)處流形度量張量的行列式矩陣的元素，λ、β分別為相應正則項的權重系數(shù)，||L_gI||_g表示流形正則項；

步驟5，通過求解流形約束下的能量最小化問題重建出高質量的灰度圖像序列。

2.根據(jù)權利要求1所述基于流形約束的事件相機圖像重建方法，其特征在于：步驟4中，流形正則項的表達形式為：

其中，分別為圖像x和y方向的導數(shù)，表示圖像梯度，(L_xI)_uv表示圖像矩陣在像素坐標(u,v)處的x方向導數(shù)，(L_yI)_uv表示圖像矩陣在像素坐標(u,v)處的y方向導數(shù)，元素事件流形上的梯度算子是由x,y,t方向導數(shù)組成，(L_gI)_uvl,l＝1,2,3分別表示圖像矩陣定義在事件流形空間上像素坐標(u，v)處x,y,t方向的導數(shù)。

3.根據(jù)權利要求1所述基于流形約束的事件相機圖像重建方法，其特征在于：步驟5中，利用交替迭代最小化方法對步驟4的優(yōu)化問題進行求解，包括在迭代過程中，初始化初始的雙積分圖像，首先固定雙積分圖像利用原始-對偶方法更新圖像I，然后利用更新的圖像I更新雙積分圖像重復迭代至收斂以重建出質量較高的圖像I。

4.根據(jù)權利要求1或2或3所述基于流形約束的事件相機圖像重建方法，其特征在于：對任意幀圖像Y_i進行圖像重建，重建的幀速率達到事件相機的觸發(fā)速率。

5.一種基于流形約束的事件相機圖像重建系統(tǒng)，其特征在于：用于執(zhí)行如權利要求1至4所述基于流形約束的事件相機圖像重建方法。