[發明專利]多光譜光場重建方法、裝置、電子設備及存儲介質

有效

• 申請號: 202210397582.6
• 申請日: 2022-04-15
• 公開（公告）號: CN114913101B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 李暉;李甜
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 李昆蔚

1.一種多光譜光場重建方法，其特征在于，包括：

獲取光場圖像；

對所述光場圖像進行特征提取，得到第一特征圖像；

基于自注意力機制，根據所述第一特征圖像得到注意力圖像；

將所述第一特征圖像和所述注意力圖像進行融合，得到第二特征圖像；

根據所述第二特征圖像，得到多光譜光場圖像；

所述第一特征圖像、注意力圖像、第二特征圖像和多光譜光場圖像，是通過訓練完成的多光譜光場重建網絡模型得到的；

其中，所述多光譜光場重建網絡模型是基于以下方式訓練得到的：

獲取訓練數據，所述訓練數據包括光場圖像樣本和所述光場圖像樣本對應的真實多光譜圖像，其中，每個所述光場圖像樣本對應多個光場圖像視圖矩陣；

對于每個所述光場圖像樣本，將所述光場圖像樣本輸入至初始的多光譜光場重建網絡模型，得到所述光場圖像樣本對應的重建多光譜圖像；

對于每個所述光場圖像樣本，基于所述光場圖像樣本對應的光場圖像視圖矩陣，得到互補光場信息，并計算所述真實多光譜圖像和所述重建多光譜圖像之間的差異值，其中，所述互補光場信息用于表征所述光場圖像樣本對應的光場圖像視圖矩陣之間的視差信息；

對于每個所述光場圖像樣本，根據所述光場圖像樣本對應的差異值和互補光場信息，計算所述光場圖像樣本對應的損失值；

根據各個所述光場圖像樣本對應的損失值對所述初始的多光譜光場重建網絡模型進行迭代訓練，直至各個所述光場圖像樣本對應的損失值符合訓練結束條件時，將訓練結束時的初始的多光譜光場重建網絡模型確定為所述多光譜光場重建網絡模型；

對于每個所述光場圖像樣本，所述光場圖像樣本對應的互補光場信息通過以下公式計算得到：

其中，F₁表示的是互補光場信息，N表示所述光場圖像樣本對應的光場圖像視圖矩陣的數量，D_i+1、D_i分別表示第i+1個、第i個光場圖像視圖矩陣。

2.根據權利要求1所述的方法，其特征在于，對于每個所述光場圖像樣本，所述光場圖像樣本對應的損失值通過以下公式計算得到：

L′(θ)＝L(θ)+ρF₁

其中，L′(θ)表示所述光場圖像樣本對應的損失值，L(θ)表示所述光場圖像樣本對應的差異值，ρ表示正則化系數，F₁表示所述光場圖像樣本對應的互補光場信息。

3.根據權利要求1所述的方法，其特征在于，所述基于自注意力機制，根據所述第一特征圖像得到注意力圖像，包括：

利用卷積層對所述第一特征圖像進行維數變換，得到第三特征圖像；

利用激活函數對所述第三特征圖像進行歸一化，得到所述注意力圖像。

4.根據權利要求1所述的方法，其特征在于，所述將所述第一特征圖像和所述注意力圖像進行融合，得到第二特征圖像，包括：

計算所述第一特征圖像和所述注意力圖像的乘積，將所述乘積確定為所述第二特征圖像。

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述獲取光場圖像，包括：

對液晶微透鏡陣列加載不同預設數值的電壓，得到不同電壓對應的采集圖像，對所述不同電壓對應的采集圖像進行融合處理，得到所述光場圖像。