[發明專利]基于自注意力和深度卷積并行的高光譜重建方法

在審

• 申請號: 202310926894.6
• 申請日: 2023-07-27
• 公開（公告）號: CN116665063A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 黃凱宣;黃俊茹;孫玉寶
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/40;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

本發明公開了基于自注意力和深度卷積并行的高光譜重建方法，屬于計算機視覺圖像處理技術領域。包括以下步驟：在編碼階段，利用CASSI光學系統進行壓縮采樣得到二維測量值，再經過反轉色散過程，獲得初始化信號；解碼階段，采用本方法提出的基于transformer和CNN并行架構的重建算法將2D壓縮圖像重建為3D高光譜圖像，通過訓練網絡學習二維壓縮測量數據到原始數據的逆變換，進一步使用訓練好的模型重建壓縮感知高光譜圖像，實現了壓縮感知高光譜圖像的快速、精確重建，與傳統迭代重建算法相比，在重建質量上有所提高，并且在重建高光譜數據上的計算時間上有顯著提高，遠快于傳統算法。

技術領域

本發明屬于計算機視覺圖像處理領域，具體涉及基于自注意力和深度卷積并行的高光譜重建方法。

背景技術

高光譜成像是近年來計算機視覺領域的一個熱門研究方向，但高維高光譜數據的存儲和傳輸帶來了挑戰。為了應對這個問題，壓縮感知成為一種新興的采樣方法，它通過線性投影同時采樣和壓縮信號，從而降低了數據的編碼復雜度。壓縮感知的目標是利用少量的壓縮測量來重建原始高維信號，以實現高光譜數據的有效傳輸和處理。

傳統的壓縮感知采樣方法使用固定的變換函數和有限尺寸的光學編碼器對高維信號進行采樣和壓縮。然后，經典的重建算法依賴于信號在某種變換域具有稀疏性的假設，通過求解稀疏編碼問題來還原原始信號。然而，這些傳統方法需要耗費大量時間來進行迭代優化，并且在低采樣率下重建質量較差。近年來，受深度學習方法的啟發，學者們提出了基于深度學習的壓縮感知圖像重建方法。這些方法通過數據驅動的方式，讓深度神經網絡直接學習從稀疏先驗到深度網絡先驗的映射關系，從而實現從稀疏先驗到深度網絡先驗的轉變。通過這種方式，重建過程更加高效，并且在低采樣率下也能獲得更好的重建質量。

這種基于深度學習的方法，主要采用掩模和偏移測量之間的內積作為輸入。該方法破壞了輸入的高光譜信息，并且沒有充分探索掩碼的引導效果，導致改進有限。近年來，Transformer已被引入計算機視覺領域。Transformer中的多頭自注意模塊擅長捕捉非局部相似性和長期依賴性。這一優勢可以很好的解決高光譜圖像重建中上述基于深度學習方法的局限性。雖然已經獲得較好的重建效果,但重建性能仍有較大的提升空間，仍需要進行進一步研究。

上述現有技術還存在以下問題：

1.高光譜圖像具有豐富的圖像信息。在計算自我注意力時，如果沒有足夠指導的原始Transformer可能很容易處理許多低保真度和信息量較小的圖像區域，這可能會降低模型效率，從而影響特征提取的能力。

2.高光譜圖像具有豐富的圖像信息。雖然Transformer局部窗口自我注意在視覺任務中表現顯著，但它仍存在接受域有限和建模能力弱的問題。

發明內容

本發明針對現有技術中的問題，提供了基于自注意力和深度卷積并行的高光譜重建方法，顯著提高光譜圖的重建質量，并且在計算時間上比傳統算法更有優勢。為解決以上技術問題，本發明提供如下技術方案：基于自注意力和深度卷積并行的高光譜重建方法，包括如下步驟：

S1、編碼階段：對原始高光譜圖像壓縮采樣得到的二維測量值Y進行反轉色散，將該二維測量Y值向后偏移，獲得初始化信號；

S2、解碼階段：包括：

S2-1、構建基于transformer和CNN并行架構的編碼器，將初始化信號輸入至該編碼器中提取特征并融合，得到特征圖；

S2-2、將特征圖輸入至瓶頸網絡中，進一步提取特征并融合，得到最終特征圖；

S2-3、將最終的特征圖輸入至解碼器中得到重建后的高光譜圖像。

進一步地，前述的步驟S1包括如下子步驟：

S101、利用CASSI光學系統中二維編碼孔徑M對原始高光譜圖像預設波長的HSI信號進行編碼得到?，如下式：

?，