[發明專利]多光譜光場重建方法、裝置、電子設備及存儲介質

有效

• 申請號: 202210397582.6
• 申請日: 2022-04-15
• 公開（公告）號: CN114913101B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 李暉;李甜
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 李昆蔚

本發明涉及一種多光譜光場重建方法、裝置、電子設備及存儲介質，屬于計算攝像學技術領域。該方法包括：獲取光場圖像；對光場圖像進行特征提取，得到第一特征圖像；基于自注意力機制，根據第一特征圖像得到注意力圖像；將第一特征圖像和注意力圖像進行融合，得到第二特征圖像；根據第二特征圖像，得到多光譜光場圖像。本發明將自注意力機制引入多光譜光場重建中，以提取重建過程中得到的中間特征之間的相關性，從而能夠利用中間特征之間的相關性，提高針對光場圖像的重建效果。

背景技術

近年來，隨著計算機數字處理能力的提升和信息理論技術的發展，計算成像已逐漸成為突破光學成像中觀測維度限制的關鍵技術。計算成像是將圖像數據采集和圖像處理集成一體的方法，通過將硬件采集裝置和圖像處理算法進行結合，突破了傳統成像維度和傳感器的局限性，使得成像系統能同時獲取多維度的信息。而多光譜成像是一種能夠同時獲取光譜特征和空間圖像信息的成像方法，是當前光電成像系統發展的重要方向。

隨著快照式壓縮光譜感知技術的發展，出現了使用深度學習快速實現光譜重建的趨勢。尤其是基于卷積神經網絡的快照式壓縮光譜成像重構方法，在多光譜重建方法上得到了廣泛使用。

但是，大多數基于卷積神經網絡的重建算法致力于設計更復雜或者更深的網絡結構，以此獲得更高級的特征表示，而忽略了提取中間特征之間的相關性。

發明內容

為了解決現有的重建算法忽略了提取中間特征之間的相關性的缺陷，本發明提供了一種多光譜光場重建方法、裝置、電子設備及存儲介質。

第一方面，為了解決上述技術問題，本發明提供了一種多光譜光場重建方法，包括：

獲取光場圖像；

對光場圖像進行特征提取，得到第一特征圖像；

基于自注意力機制，根據第一特征圖像得到注意力圖像；

將第一特征圖像和注意力圖像進行融合，得到第二特征圖像；

根據第二特征圖像，得到多光譜光場圖像。

本發明的有益效果是：將自注意力機制引入多光譜光場重建中，以提取重建過程中得到的中間特征之間的相關性，從而能夠利用中間特征之間的相關性，提高對光場圖像的重建效果。

進一步，第一特征圖像、注意力圖像、第二特征圖像和多光譜光場圖像，是通過訓練完成的多光譜光場重建網絡模型得到的；

其中，多光譜光場重建網絡模型是基于以下方式訓練得到的：

獲取訓練數據，訓練數據包括光場圖像樣本和光場圖像樣本對應的真實多光譜圖像，其中，每個光場圖像樣本對應多個光場圖像視圖矩陣；

對于每個光場圖像樣本，將光場圖像樣本輸入至初始的多光譜光場重建網絡模型，得到光場圖像樣本對應的重建多光譜圖像；

對于每個光場圖像樣本，基于光場圖像樣本對應的光場圖像視圖矩陣，得到互補光場信息，并計算真實多光譜圖像和重建多光譜圖像之間的差異值，其中，互補光場信息用于表征光場圖像樣本對應的光場圖像視圖矩陣之間的視差信息；

對于每個光場圖像樣本，根據光場圖像樣本對應的差異值和互補光場信息，計算光場圖像樣本對應的損失值；

根據各個光場圖像樣本對應的損失值對初始的多光譜光場重建網絡模型進行迭代訓練，直至各個光場圖像樣本對應的損失值符合訓練結束條件時，將訓練結束時的初始的多光譜光場重建網絡模型確定為多光譜光場重建網絡模型。

采用上述改進方案的有益效果是：在模型訓練過程中加入了互補光場信息進行優化，能夠提高模型針對光場圖像輸出的重建結果的空間分辨率和光譜分辨率，且能夠保留原本的光場信息，從而達到同時獲取多維度信息的多光譜光場重建效果。