[發(fā)明專利]基于TV約束的事件相機圖像重建方法及系統

有效

• 申請?zhí)枺?/td>: 202010620396.5
• 申請日: 2020-06-30
• 公開（公告）號: CN111798395B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設計）人: 余磊;江盟;王碧杉;楊文
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/20;G06T7/269;H04N5/235;H04N5/217;H04N5/232;G06F17/11
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發(fā)明提供一種基于TV約束的事件相機圖像重建方法及系統，包括事件相機同時輸出強度圖像序列和事件流，對事件相機輸出的每幀圖像，根據該幀的時間戳提取曝光時間內的事件流；建立事件雙積分模型，該模型建立相機拍攝的圖像、事件數據及清晰的瞬時強度圖像之間的關系；在事件雙積分模型基礎上引入TV正則項的分段光滑先驗作為重建圖像的空間約束，從建立圖像重建的變分模型；基于所得圖像重建的變分模型，通過聯合優(yōu)化求解來重建出高質量的灰度圖像序列。本發(fā)明能解決事件相機圖像重建中的運動模糊和噪聲問題，恢復出高幀率的高質量強度圖像序列。

技術領域

本發(fā)明涉及圖像處理領域，尤其是基于TV約束的事件相機圖像重建方法及系統。

背景技術

事件相機是受人類視網膜啟發(fā)的仿生視覺傳感器，利用芯片模擬生物視網膜對外界光強變化的感知過程。與傳統相機輸出的圖像幀不同，事件相機是通過感知場景亮度變化的方式來異步地獲取光強變化信息，輸出一系列的異步事件流，其中每一事件包含像素坐標，時間以及極性：e＝{x,y,t,p}，x,y表示坐標，t表示時間戳，p＝±1表示極性(+1表示亮度增強，-1表示亮度減小)，如圖1所示。與傳統相機相比，事件相機具有高時間分辨率、低延遲(1μs)、高動態(tài)范圍(120dB)以及低功耗(10mW)等特點，這些優(yōu)勢使得該傳感器在高速機器人定位、目標跟蹤與識別等研究領域中，具有極廣泛的應用前景。

在事件相機的相關研究中，事件相機和傳統光學相機的輸出方式不同導致許多成熟的基于圖像幀的視覺方法不能直接應用于事件相機，事件相機輸出的事件流缺乏場景紋理和細節(jié)信息且存在大量噪聲。因此，為了使事件相機在視覺任務中得到有效應用，在為事件相機開發(fā)新的計算機視覺方法基礎上，需要對事件流進行圖像重建以便于后續(xù)成熟的視覺方法的應用。基于事件相機的圖像重建一方面能夠提供有效的場景表示，便于建立事件與場景對應關系。另一方面圖像重建是使得現有的圖像處理方法和分析技術得以在事件相機中應用的基礎，通過事件流重建出圖像幀，后續(xù)就可以直接利用經典的圖像處理的方式對重建出來的圖像或視頻進行分析和處理，例如目標檢測、跟蹤與識別等。

現有的事件相機，例如DAVIS(dynamicand active vision sensor)可以同時輸出強度圖像和事件流，但是相機拍攝的亮度圖像幀率較低，延遲較高(≥5ms的延遲)，事件相機在記錄高動態(tài)的場景時，亮度圖像會收到運動模糊和噪聲影響。事件相機的高時間分辨率和高動態(tài)范圍特性，給傳統光學圖像的運動模糊和飽和曝光等問題的解決提供了新的思路，使得事件相機能夠解決極端環(huán)境下目標成像的問題。因此，研究基于事件相機的圖像重建技術，利用事件數據的高時間分辨率和高動態(tài)范圍特性，聯合傳統的低幀率強度圖像，重建出高動態(tài)范圍、高幀率的清晰圖像或視頻，獲得能反映真實場景信息的有效表示，對于事件相機在實際場景中的應用具有重要價值。

發(fā)明內容

為了克服事件相機圖像重建過程中的運動模糊以及噪聲問題，本發(fā)明提供了一種基于TV約束的圖像重建方案來重建清晰的強度圖像。

本發(fā)明所采用的技術方案是一種基于TV約束的事件相機圖像重建方法，包括如下步驟：

步驟1，事件相機同時輸出強度圖像序列和事件流；

步驟2，對事件相機輸出的每幀圖像Y_i，根據該幀的時間戳t_i提取曝光時間[t_i-T/2,t_i+T/2]內的事件流，其中，T為曝光時間長度；

步驟3，建立事件雙積分模型，該模型建立相機拍攝的圖像、事件數據及清晰的瞬時強度圖像之間的關系，實現方式如下，

構建事件相機捕獲的圖像Y_i與重建的灰度圖像序列以及曝光時間[t_i-T/2,t_i+T/2]內事件流之間線性的數學關系：