[發明專利]基于光譜維控制卷積神經網絡的高光譜圖像全色銳化方法

有效

• 申請號: 201811377992.4
• 申請日: 2018-11-19
• 公開（公告）號: CN109859110B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 賀霖;朱嘉煒
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種基于光譜維控制卷積神經網絡的高光譜圖像全色銳化方法，其特征在于，包括以下步驟：

步驟1、讀取原始高光譜圖像數據并用以合成相應的全色圖像數據其中L、W分別表示高光譜圖像的長和寬，b表示波段數，表示全體實數集合；

步驟2、選取高光譜圖像數據部分區域，及其對應的全色圖像數據區域作為訓練樣本，對該樣本進行預處理后，進行分塊采樣，得到多個訓練樣本塊；

步驟3、構建光譜維控制卷積神經網絡模型，包括光譜維的壓縮、擴張以及空間細節修復三部分，均由卷積層構成，網絡的激活函數采用線性整流函數；具體包括：

步驟31、光譜維壓縮卷積層Conv1，輸入訓練數據與64個大小為1×1的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出64個特征圖Y₁⁽ⁱ⁾；表示為：

其中Y₁⁽ⁱ⁾表示第一層光譜維壓縮卷積層對應的輸出特征圖，W₁,B₁分別表示第一層光譜維壓縮卷積核的權重矩陣和偏置矩陣，表示線性整流函數；

步驟32、光譜維壓縮卷積層Conv2，輸入上一層的輸出，與64個大小為1×1的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出64個特征圖Y₂⁽ⁱ⁾，本層與Conv1共同作用，用于壓縮數據的光譜維數；

步驟33、拼接層Concat，輸入上一層的輸出，并將其與全色圖像訓練數據在光譜維度進行拼接，輸出具有65個波段的數據；

步驟34、卷積層Conv3，輸入上一層的輸出，與64個大小為3×3的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出64個特征圖Y₃⁽ⁱ⁾；

步驟35、卷積層Conv4，輸入上一層的輸出，與32個大小為3×3的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出32個特征圖Y₄⁽ⁱ⁾；

步驟36、卷積層Conv5，輸入上一層的輸出，與64個大小為3×3的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出64個特征圖Y₅⁽ⁱ⁾；

步驟37、光譜維擴張卷積層Conv6，輸入上一層的輸出，與64個大小為1×1的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出64個特征圖Y₆⁽ⁱ⁾；

步驟38、光譜維擴張卷積層Conv7，輸入上一層的輸出，與b個大小為1×1的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出網絡預測高分辨高光譜圖像O⁽ⁱ⁾，本層與Conv6共同作用，用于擴張數據的光譜維數；

步驟4、利用零均值的高斯分布隨機初始化各卷積核的權重W和偏置B；

步驟5、選用歐氏距離損失函數作為輸出層，得到網絡預測圖像與參照圖像之間的歐氏距離，即損失值；

步驟6、采用自適應矩估計算法對權重和偏置進行迭代更新，當損失函數穩定在最小值時，權重和偏置尋得最優解，即得到最優光譜維控制卷積神經網絡模型；

步驟7、選取原始高光譜圖像數據另外一部分區域，及與其配準的全色圖像數據區域作為測試樣本，對該樣本進行與步驟2相同的預處理；

步驟8、將測試樣本直接輸入到步驟6得到的最優光譜維控制卷積神經網絡模型中，即可得到高分辨率的高光譜圖像。

2.根據權利要求1所述的一種基于光譜維控制卷積神經網絡的高光譜圖像全色銳化方法，其特征在于：所述步驟1中，對獲取的高光譜圖像數據的前n個連續波段進行加權求和，得到相應的全色圖像數據；所述n個波段所覆蓋的光譜范圍對應可見光譜。

3.根據權利要求1所述的一種基于光譜維控制卷積神經網絡的高光譜圖像全色銳化方法，其特征在于，所述步驟2中包括：

步驟21、預處理：對選取的高光譜圖像訓練樣本先用與相應傳感器的調制傳遞函數相匹配的高斯濾波器進行平滑處理，再進行s倍的下采樣，得到低分辨率的訓練樣本其中滿足表達式：L＝sl,W＝sw，接著對進行s倍的上采樣，得到與相同大小的高光譜訓練樣本

步驟22、分塊采樣：同時以設定時間間隔對訓練樣本和進行采樣，即可將它們分別分解為多個像素點較少的樣本塊和

4.根據權利要求1所述的一種基于光譜維控制卷積神經網絡的高光譜圖像全色銳化方法，其特征在于：所述步驟5中，所述光譜維控制卷積神經網絡訓練時所選用的歐式距離損失函數表達式為：

其中θ表示卷積神經網絡需要優化的參數集合，N_p表示自適應矩估計算法中的批尺寸，||·||_F表示矩陣的F-范數。