[發明專利]一種基于視角轉換的雙角度光場高分辨重構系統及方法

有效

• 申請號: 202110503579.3
• 申請日: 2021-05-10
• 公開（公告）號: CN113256772B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 費鵬;易成強;朱蘭馨
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T5/50;G06T3/40;G06N3/0464;G06V10/774;G06V10/82
• 代理公司: 武漢臻誠專利代理事務所(普通合伙) 42233
• 代理人: 胡星馳

1.一種基于視角轉換的雙角度光場高分辨重構系統，其特征在于，包括：依次連接的光場圖像重構模塊和雙視角融合高分辨率模塊；

所述光場圖像重構模塊，用于將光場圖像重構采用深度卷積神經網絡重建為三維圖像；

所述雙視角融合高分辨率模塊，用于將第一、第二視角三維圖像融合為多通道三維圖像信息并經高分辨率重建為高分辨率各向同性三維圖像；

所述雙視角融合高分辨率模塊，包括基于深度神經網絡的三維空間變換網絡層、多融合網絡層、以及高分辨率重建網絡層；

所述三維空間變換網絡層用于將第二視角的三維圖像經過三維變換為獲得與第一視角同向的視角變換三維圖像；所述三維空間變換網絡層通過卷積提取所述第二視角的三維圖像的特征，進行三維空間仿射變換后通過逐元素相乘，獲得所述與第一視角同向的視角變化三維圖像；

所述多融合網絡層用于將第一視角三維圖像和第二視角的變換三維圖像通過通道拓展融合為多通道三維圖像；

所述高分辨率重建網絡層，用于將所述多通道三維圖像進行高分辨率三維重建，獲得各向同性的高分辨率三維圖像。

2.如權利要求1所述的基于視角轉換的雙角度光場高分辨重構系統，其特征在于，所述高分辨率重建網絡層采用多尺度殘差塊的深度卷積神經網絡進行高分辨三維圖像重建。

3.如權利要求1或2所述的基于視角轉換的雙角度光場高分辨重構系統的訓練方法，其特征在于，采用的以損失函數最小化為目標，對所述基于視角轉換的雙角度光場高分辨重構系統進行訓練；分別對光場圖像重構模塊和雙視角融合高分辨率模塊進行訓練或對所述基于視角轉換的雙角度光場高分辨重構系統進行端到端的訓練。

4.如權利要求3所述的基于視角轉換的雙角度光場高分辨重構系統的訓練方法，其特征在于，所述對光場圖像重構模塊和雙視角融合高分辨率模塊進行訓練，具體包括以下步驟：

采用光場圖像重構模塊的損失函數loss1訓練所述光場圖像重構模塊，所述損失函數loss1為絕對值誤差、深層網絡特征誤差、結構系數誤差以及使用多梯度掩膜的加權誤差；

以及采用雙視角融合高分辨率模塊的損失函數loss2訓練所述雙視角融合高分辨率模塊，所述損失函數loss2為基于多尺度結構相似度以及pixel-wise的均方差的加權損失函數。

5.如權利要求4所述的基于視角轉換的雙角度光場高分辨重構系統的訓練方法，其特征在于，對所述基于視角轉換的雙角度光場高分辨重構系統進行端到端的訓練，具體為：對所述基于視角轉換的雙角度光場高分辨重構系統以損失函數loss1和損失函數loss2的加權和作為所述基于視角轉換的雙角度光場高分辨重構系統的損失函數loss0，訓練基于視角轉換的雙角度光場高分辨重構系統；可具體表示為：

loss0＝t·loss1+(1-t)·loss2

其中t是兩個損失函數loss1和損失函數loss2的求和的加權系數。

6.如權利要求4或5所述的基于視角轉換的雙角度光場高分辨重構系統的訓練方法，其特征在于，所述損失函數loss1為絕對值誤差、深層網絡特征誤差、結構系數誤差以及使用多梯度掩膜的加權誤差；具體表示為：

其中，N為圖像的體素數量，GT與Pred分別指樣本真實強度空間分布以及網絡輸出預測值，|GT-Pred|₁為其一范數，Mask是為乘積系數，用于表征圖像不同強度梯度區域；GT_feature與Pred_feature分別指通過所述深度卷積神經網絡提取的深層特征，|GT_feature-Pred_feature|₂為其二范數，α、β、σ為預設的加權系數；

所述損失函數loss2可具體表示為：

其中N為圖像的體素數量，GT與Pred分別指樣本真實強度空間分布以及網絡輸出預測值，|GT-Pred|₁為其一范數，SSIM_Pred指的是圖像的結構化系數，ξ和γ為預設的加權系數。