[發明專利]一種基于非對齊RGB圖像的融合高光譜超分辨率方法和系統

在審

• 申請號: 202210401740.0
• 申請日: 2022-04-18
• 公開（公告）號: CN114972022A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 付瑩;賴澤強
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/269;G06V10/774;G06V10/82
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 張利萍

1.一種基于非對齊RGB圖像的融合高光譜超分辨率方法，其特征在于，

將待處理的圖像稱為低分辨率高光譜圖像，將經過超分辨率之后的圖像稱為相對的高分辨率高光譜圖像；高分辨率RGB圖像與高分辨率高光譜圖像擁有相同的分辨率；高分辨率與低分辨率之間的分辨率差距，取決于模型運行時指定的縮放倍數；

以低分辨率的高光譜圖像以及其對應的高分辨率RGB參考圖像作為輸入，并且不要求RGB參考圖像與高光譜圖像完全對齊；

步驟1：構建神經網絡；

首先，基于深度學習理論，針對RGB圖像與高光譜圖像，分別構建深度RGB圖像特征提取器和高光譜圖像特征提取器；使用這兩個特征提取器，分別提取RGB參考圖像和高光譜圖像的多層級特征；

之后，使用多層級的深度光流估計網絡，將RGB參考圖像與高光譜圖像的多層級特征進行對齊；

得到對齊的RGB圖像特征以及高光譜圖像特征之后，構建深度自適應特征解碼器，對對齊后的特征進行解碼，重建出高分辨率的高光譜圖像；

步驟2：訓練階段；

使用處理后的非對齊高光譜融合數據集，迭代訓練步驟1構建的神經網絡的可訓練參數并進行存儲；

之后，基于SIFT和RANSAC的對齊算法，對圖像對進行對齊，使用光譜響應函數合成高光譜圖像對應的合成RGB圖像；使用基于直方圖的顏色匹配算法，對合成RGB圖像以及非對齊參考RGB圖像進行顏色匹配；將采集到的高分辨率高光譜圖像降采樣，得到合成低分辨率高光譜圖像；將處理好的數據作為訓練數據；

步驟3：使用階段，利用步驟1訓練階段得到的模型參數，根據輸入的高光譜圖像和RGB參考圖像，預測對應的高分辨率高光譜圖像；

首先將合成低分辨率高光譜圖像以及配對的RGB圖像輸入深度神經網絡，獲得預測的高分辨率高光譜圖像；然后，將預測圖像與訓練場景的真實高分辨率圖像，計算均方誤差損失函數；之后，使用反向傳播技術計算深度神經網絡各個節點的梯度，使用參數優化器更新網絡參數；重復使用數據集中的每個樣本，反復執行更新，直至損失降到設定閾值以下。

2.一種基于非對齊RGB圖像的融合高光譜超分辨率系統，其特征在于，包括數據采集子系統、數據處理子系統、訓練子系統和推理子系統；

其中，數據采集子系統用于采集配對的非對齊高分辨率RGB圖像與低分辨率高光譜圖像，這些數據將被用于訓練；

數據處理子系統用于對數據采集子系統采集到的不對齊圖像對進行處理，將處理好的數據作為訓練數據；

訓練子系統使用經數據處理子系統處理過的訓練數據，對深度神經網絡模型進行訓練；

推理子系統使用訓練好的深度神經網絡模型進行推理，其輸入是實際應用場景下的低分辨率高光譜圖像以及不對齊的配對高分辨率RGB圖像；在每次推理過程中，推理子系統無需重復訓練，每次均使用相同的深度神經網絡模型；

數據采集子系統的輸出端與數據處理子系統的輸入端相連，后者負責處理前者的數據；數據處理子系統的輸出端與訓練子系統的輸入端相連，后者接受前者提供的數據，完成模型訓練；訓練子系統的輸出端與推理子系統的輸入端相連，后者使用前者訓練好的模型，在實際部署時進行推理。

3.如權利要求2所述的一種基于非對齊RGB圖像的融合高光譜超分辨率系統，其特征在于，數據采集子系統包含高光譜相機、RGB相機和相機固定裝置；

其中，高光譜相機與RGB相機平行固定在相機固定裝置上；通過調整兩臺相機的角度與焦距，使其能夠拍攝出包含同一場景的清晰圖像。