[發明專利]一種基于事件相機的高質量高幀率圖像重建方法

有效

• 申請號: 202010433817.3
• 申請日: 2020-05-21
• 公開（公告）號: CN111667442B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 余磊;王碧杉;何敬偉;楊文
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 許蓮英

本發明提出了一種基于事件相機的高質量高幀率圖像重建方法。本發明通過高速相機拍攝的視頻生成包括高幀率高分辨率清晰圖像、低分辨率模糊圖像及事件流的仿真數據集；根據事件流、低分辨率模糊圖像、高幀率高分辨率清晰圖像構建事件增強圖像退化模型，并擴展到稀疏表示的形式并根據求解過程搭建一個多層卷積神經網絡；將仿真數據集中高分清晰圖像作為真實重建的標記圖像，仿真數據集中低分模糊圖像和事件流作為多層卷積神經網絡的訓練集，結合標記圖像構建卷積神經網絡損失函數模型，進一步尋優得到優化后多層卷積神經網絡。本發明解決了基于事件相機的圖像重建中的噪聲、運動模糊和低分辨率的問題，并實現了高幀率視頻幀的恢復。

技術領域

本發明涉及圖像處理領域，特別是涉及一種基于事件相機的高質量高幀率圖像重建方法。

背景技術

傳統相機以固定的幀率捕獲圖像，圖像幀中所有像素同時曝光，記錄場景的絕對亮度信息，能直接反映豐富的場景信息。但是，由于硬件限制，傳統相機的幀率往往比較低。因此當物體運動速度較快時，比較容易產生運動模糊，損失大量的信息，從而影響了后續計算機視覺的算法的進行。

事件相機的出現給計算機視覺領域帶來新的選擇。事件相機是基于一種受生物啟發的傳感器，它能以極低的延遲(1μs)產生異步事件，記錄場景中亮度變化的坐標位置、時間及變化極性，因此具有極高的時間分辨率。因此，事件相機不會受到運動模糊的影響，對于各種視覺任務都極具吸引力。

但是，事件相機生成的事件流只能記錄場景的亮度變化，不能記錄場景的絕對亮度值。同時，事件流的異步輸出的形式阻礙了現有的為傳統相機設計的算法直接應用于事件相機。因此，對事件流進行高質量的圖像重建是必不可少的，能夠建立事件相機與現有的基于傳統相機的視覺任務算法的橋梁。

但是從事件相機捕獲的數據中重建出高質量的圖像存在以下亟需解決的問題：1.事件相機，如：DAVIS，能夠同時捕獲灰度圖像和事件流，但捕獲的灰度圖像存在幀率低和運動模糊的問題；2.大量噪聲存在，灰度圖像和事件流中都存在大量噪聲；3.低空間分辨率，由于硬件限制，要平衡空間分辨率和時間延遲，空間分辨率為低時間延遲讓步。

關于噪聲問題，有通過施加稀疏正則化來平滑圖像梯度再利用泊松積分從去噪的圖像梯度中恢復灰度圖像的方法，還有在事件時間表面上施加流形正則化進行灰度圖像重建的方法，這些人工的正則化方法可以有效降低噪聲，但會有如模糊邊緣等現象出現。后又有一些基于卷積神經網絡的方法進行從事件到灰度圖像的重建，具有訓練參數的卷積核能一定程度上減少噪聲，但由于缺乏物理含義，難以同時處理事件相機輸出的事件流和灰度圖像幀。此外，在同一個框架內，對事件相機進行超分辨率、去噪、高幀率的圖像重建，尚沒有很大的進展。

發明內容

為了克服上述現有技術的不足，本發明提供了一種基于事件相機捕獲的圖像幀和事件流的超分辨率、去噪、高幀率圖像重建方法。

本發明的技術方案為一種基于事件相機的高質量高幀率圖像重建方法，包含以下步驟：

步驟1，通過高速相機拍攝多組視頻，通過插幀算法在相鄰圖像之間增加m 幀圖像，提高圖像的幀率為原來的m+1倍得到高幀率高分辨率清晰圖像，將高幀率高分辨率清晰圖像通過雙三次插值方法進行下采樣得到高幀率低分辨率圖像，從高幀率低分辨率圖像序列生成一段事件流，對多幀連續的高幀率低分辨率圖像進行求和平均處理得到低分辨率模糊圖像；

步驟2：根據事件流、低分辨率模糊圖像、高幀率高分辨率清晰圖像構建事件增強圖像退化模型，依次對低分辨率模糊圖像，高幀率高分辨率清晰圖像進行稀疏表示，得到稀疏事件增強圖像退化模型，通過構建多層卷積神經網絡求解該模型；

步驟3：通過對事件流進行預處理實現低幀率低分辨率模糊圖像的曝光時間段的事件轉換為一個多通道的圖像形式，從而得到預處理后事件流；