[發(fā)明專利]一種基于混合神經網(wǎng)絡的事件場合成孔徑成像算法

在審

• 申請?zhí)枺?/td>: 202110244649.8
• 申請日: 2021-03-05
• 公開（公告）號: CN112987026A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設計）人: 余磊;張翔;廖偉;楊文;夏桂松
• 申請（專利權）人: 武漢大學
• 主分類號: G01S17/90
• 分類號: G01S17/90;G06T7/73;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魯力

1.一種基于混合神經網(wǎng)絡的事件場合成孔徑成像算法，其特征在于，包含以下步驟：

步驟1：場景光線信息的捕獲；利用事件相機在多個視角下捕獲場景信息，并輸出事件流；

步驟2：事件重聚焦；將多個視角下捕獲的事件數(shù)據(jù)通過相機的多視角幾何關系映射到合成孔徑成像平面；

步驟3：構建和訓練混合神經網(wǎng)絡；用重聚焦后的事件數(shù)據(jù)和與之匹配的無遮擋視覺圖像訓練混合神經網(wǎng)絡；

步驟4：視覺圖像的重建；利用訓練好的混合神經網(wǎng)絡從純事件數(shù)據(jù)中重建出無遮擋的目標圖像。

2.根據(jù)權利要求書1所述基于事件相機的合成孔徑成像算法，其特征在于：

在步驟1中需要使用事件相機在多個視角下進行密集遮擋場景的數(shù)據(jù)捕獲，可以使用例如事件相機陣列、事件相機移動拍攝等方法；在構建數(shù)據(jù)集時需要用普通光學相機額外拍攝無遮擋的圖像形成訓練樣本對；

步驟1所述多個視角下場景事件數(shù)據(jù)集為：

event_s(i),s∈[1,S],i∈[1,C_s]

其中，event_s為第s個視角下場景事件數(shù)據(jù)集，為第s個視角下場景的第i個事件點，其中為其極性，為其產生時刻的時間戳，與表示其生成位置為相機成像平面的第和第列；T為場景事件數(shù)據(jù)的捕獲總時長；S為視角的數(shù)量；C_s為第s個視角下收集到的事件點總數(shù)；M為成像平面行的數(shù)量；N為成像平面列的數(shù)量；

步驟1所述多個視角下場景無遮擋圖像數(shù)據(jù)集為：

frame_s(u_s,v_s),s∈[1,S],u_s∈[1,M],v_s∈[1,N]

其中，frame_s為第s個視角下場景無遮擋圖像，frame_s(u_s,v_s)為第s個視角下采集的場景無遮擋圖像上第u_s行第v_s列的像素；S為視角的數(shù)量；M為成像平面行的數(shù)量；N為成像平面列的數(shù)量。

3.根據(jù)權利要求書1所述基于事件相機的合成孔徑成像算法，其特征在于：

步驟2中所述在多個視角下場景事件數(shù)據(jù)集中，將第s個視角下產生的事件點數(shù)據(jù)即逐個映射到參考視角下r相機的成像平面上，具體如下：

其中，為由視角s下第i個事件點映射到參考視角r后的像素位置，K為相機的內參矩陣，為相機視角s相對于參考視角r的旋轉矩陣，為相機視角s相對于參考視角r的平移矩陣，d為合成孔徑焦距，即受遮擋目標到相機平面的距離；

第s個視角下產生的重聚焦后事件點數(shù)據(jù)表示為：

第s個視角下重聚焦后事件數(shù)據(jù)集表示為：

將所有視角下捕獲的事件數(shù)據(jù)映射到參考視角r后的事件數(shù)據(jù)集表示為：

4.根據(jù)權利要求書1所述基于事件相機的合成孔徑成像算法，其特征在于：

步驟3中神經網(wǎng)絡為由脈沖神經網(wǎng)絡與卷積神經網(wǎng)絡組成的混合網(wǎng)絡，其中脈沖神經網(wǎng)絡需要由帶有漏電機制的神經元構成，例如Leaky integrate-and-fire(LIF)神經元；混合網(wǎng)絡模型的輸入為步驟2中所述多個視角下重聚焦到參考視角的事件數(shù)據(jù)集event^r，輸出為重建后的視覺圖像I_recon,將該圖像與步驟一中捕獲的場景無遮擋圖像frame_r計算損失函數(shù)再進行反向傳播即可完網(wǎng)絡模型的訓練。

5.根據(jù)權利要求書1所述基于事件相機的合成孔徑成像算法，其特征在于：

步驟4中輸入的事件數(shù)據(jù)首先需要進行步驟2中將多個視角場景事件數(shù)據(jù)集通過相機的多視角幾何關系映射到合成孔徑成像平面，得到多個視角下重聚焦到參考視角的事件數(shù)據(jù)集，然后輸入訓練好的神經網(wǎng)絡后即可得到相應的視覺圖像。