[發明專利]一種基于混合神經網絡的事件場合成孔徑成像算法

在審

• 申請號: 202110244649.8
• 申請日: 2021-03-05
• 公開（公告）號: CN112987026A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 余磊;張翔;廖偉;楊文;夏桂松
• 申請（專利權）人: 武漢大學
• 主分類號: G01S17/90
• 分類號: G01S17/90;G06T7/73;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魯力

本發明涉及一種基于混合神經網絡的事件場合成孔徑成像算法，包括事件數據集的構建、事件流的重對焦方法、混合神經網絡的構建與訓練和視覺圖像的重建。其中，通過事件相機的移動從多視角捕獲場景的亮度信息后，即可將收集到的事件流進行重對焦，使得目標產生的有效事件點在時空平面上成功對齊，而遮擋物產生的噪聲事件點仍處于離焦狀態。隨后通過構建和訓練脈沖神經網絡與卷積神經網絡組成的混合神經網絡(SNN?CNN)模型，可從重對焦后的事件場中恢復出高質量的無遮擋目標圖像。本發明綜合利用了事件相機的低延時、高動態范圍優勢與混合神經網絡的時空數據處理能力，實現了密集遮擋以及極端光照環境下的目標重建，并具有較好的視覺效果。

技術領域

本發明屬于圖像處理領域，特別涉及用事件相機實現合成孔徑成像。

背景技術

合成孔徑成像(Synthetic aperture imaging,SAI)作為光場計算成像領域的重要分支，克服了單一視角拍攝時對遮擋目標無法有效成像的問題。通過將相機在多視角下拍攝的幀圖像進行映射和合成，合成孔徑成像可等效于一個虛擬的大孔徑和小景深相機成像，因此能夠虛化遠離對焦平面的遮擋物，實現對被遮擋目標的成像，在遮擋物去除、目標識別與跟蹤以及場景三維重建等方面具有極高的應用價值。

當前的合成孔徑成像方法大多基于幀格式的光學相機。當遮擋物過于密集時，普通光學相機捕獲的幀圖像中有效目標信息減少且遮擋物干擾增加，嚴重影響了成像結果的清晰度和對比度，并且常常引入模糊噪聲。此外，由于普通光學相機的動態范圍較低，傳統合成孔徑成像方法在過亮/過暗等極端光照條件中不可避免地會產生過曝光/欠曝光的問題，導致無法對目標有效成像。

而基于生物視覺感知機制的事件相機成為了解決以上難題的突破口。與傳統光學相機不同，事件相機僅僅感知場景的對數域亮度變化，以異步的事件流取代了傳統幀的表現形式，具有低延時、高動態范圍、低帶寬需求和低功耗等特性。與傳統光學相機相比，事件相機能夠以極低的延時響應場景亮度的瞬時變化。因此在密集遮擋的環境中，事件相機能夠連續地對場景和目標進行感知，從而捕獲充分的有效目標信息，提升成像質量。而事件相機自身高動態范圍的特性也使得極端光照條件下的目標重建成為可能。

發明內容

基于上述分析，本發明的目的在于提供一種基于事件相機的合成孔徑成像算法，該方法利用事件相機低延時、高動態范圍等優勢，實現了密集遮擋與極端光照條件下的合成孔徑成像。并利用混合神經網絡的時空處理能力對輸入事件數據進行噪聲去除，從純事件流中重建出無遮擋、高質量的視覺圖像，達到“透視”的效果。

本發明提供的基于事件相機的合成孔徑算法包括以下具體步驟：

步驟1：場景光線信息的捕獲；利用事件相機在多個視角下捕獲場景信息，并輸出事件流；

步驟2：事件重聚焦；將多個視角下捕獲的事件數據通過相機的多視角幾何關系映射到合成孔徑成像平面；

步驟3：構建和訓練混合神經網絡；用重聚焦后的事件數據和與之匹配的無遮擋視覺圖像訓練混合神經網絡；

步驟4：視覺圖像的重建；利用訓練好的混合神經網絡從純事件數據中重建出無遮擋的目標圖像。

在上述的基于事件相機的合成孔徑成像算法，在步驟1中需要使用事件相機在多個視角下進行密集遮擋場景的數據捕獲，可以使用例如事件相機陣列、事件相機移動拍攝等方法；在構建數據集時需要用普通光學相機額外拍攝無遮擋的圖像形成訓練樣本對；

步驟1所述多個視角下場景事件數據集為：

event_s(i),s∈[1,S],i∈[1,C_s]