[發明專利]一種基于細節內嵌注入卷積神經網絡高光譜圖像銳化方法

有效

• 申請號: 201911046768.1
• 申請日: 2019-10-30
• 公開（公告）號: CN110807746B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 賀霖;朱嘉煒
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種基于細節內嵌注入卷積神經網絡高光譜圖像銳化方法，其特征在于，包括以下步驟：

步驟1：讀取原始高光譜圖像數據合成全色圖像數據其中L和W分別表示高光譜圖像的長和寬，b表示波段數；表示全體實數集合；

步驟2：選取高光譜圖像數據訓練區域，將高光譜圖像數據訓練區域及其對應的全色圖像數據區域作為訓練樣本對，進行預處理后，對訓練樣本對進行分塊采樣，得到多個訓練樣本塊：

步驟3：構建基于細節內嵌注入的卷積神經網絡；所述基于細節內嵌注入的卷積神經網絡包括以下結構：

光譜推斷層Conv1，輸入高光譜訓練數據將其與64個空間大小為1×1的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出得到64個特征圖Y₁⁽ⁱ⁾；可表示為：

其中Y₁⁽ⁱ⁾表示光譜推斷層Conv1輸出的特征圖，W₁和B₁分別表示Conv1的權重矩陣和偏置矩陣，表示線性整流函數；

光譜推斷層Conv2，輸入光譜推斷層Conv1的輸出，與32個空間大小為1×1的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出得到32個特征圖Y₂⁽ⁱ⁾，本層與Conv1協同作用，用于對高光譜圖像的波段有效成分進行推斷處理，剔除冗余的光譜波段；具體表示為：

W₂和B₂分別表示Conv2的權重矩陣和偏置矩陣；

空間推斷層Conv3，輸入全色訓練數據與16個空間大小為3×3的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出得到16個特征圖Y₃⁽ⁱ⁾；具體表示為：

W₃和B₃分別表示Conv3的權重矩陣和偏置矩陣；

空間推斷層Conv4，輸入空間推斷層Conv3的輸出，與32個空間大小為3×3的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出得到32個特征圖Y₄⁽ⁱ⁾，本層與Conv3協同作用，用于將全色圖像轉換為特征圖的形式，能夠有效地提取其空間信息；具體表示為：

W₄和B₄分別表示Conv4的權重矩陣和偏置矩陣；

拼接層Concat，輸入Y₂⁽ⁱ⁾和Y₄⁽ⁱ⁾，將兩者在光譜維度進行拼接，輸出具有64個波段的數據；

細節學習層Conv5，輸入拼接層Concat的輸出，與64個空間大小為3×3的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出64個特征圖Y₅⁽ⁱ⁾；具體表示為：

其中，[，]表示拼接，W₅和B₅分別表示Conv5的權重矩陣和偏置矩陣；

細節學習層Conv6，輸入細節學習層Conv5的輸出，與64個空間大小為3×3的卷積核進行卷積運算，并經過線性整流函數激活處理，輸出64個特征圖Y₆⁽ⁱ⁾；具體表示為：

W₆和B₆分別表示Conv6的權重矩陣和偏置矩陣；

底層細節注入層Conv7，輸入細節學習層Conv6的輸出，與32個空間大小為3×3的卷積核進行卷積運算，并與Y₂⁽ⁱ⁾進行逐像素點相加，輸出32個特征圖Y₇⁽ⁱ⁾；具體表示為：

W₇和B₇分別表示Conv7的權重矩陣和偏置矩陣；

中層細節注入層Conv8，輸入底層細節注入層Conv7的輸出，與64個空間大小為1×1的卷積核進行卷積運算，并與Y₁⁽ⁱ⁾進行逐像素點相加，輸出64個特征圖Y₈⁽ⁱ⁾；具體表示為：

W₈和B₈分別表示Conv8的權重矩陣和偏置矩陣；

頂層細節注入層Conv9，輸入中層細節注入層Conv8的輸出，與b個空間大小為1×1的卷積核進行卷積運算，并與進行逐像素點相加，輸出b個特征圖Y₉⁽ⁱ⁾；具體表示為：

W₉和B₉分別表示Conv9的權重矩陣和偏置矩陣

步驟4：利用零均值的高斯分布隨機初始化各卷積核的權重矩陣W和偏置矩陣B；

步驟5：選用歐式距離損失函數對卷積神經網絡進行訓練，得到網絡輸出高光譜圖像與理想高光譜圖像之間的歐氏距離，即訓練誤差；

步驟6：采用隨機梯度下降算法對權重和偏置進行迭代更新優化，當訓練誤差維持設定范圍內時，此時的各卷積核的權重矩陣和偏置矩陣為最優解，即得到基于細節內嵌注入的最優卷積神經網絡；

步驟7：選取原始高光譜圖像數據測試區域及與其相應的全色圖像數據區域作為測試樣本；

步驟8：將步驟7的測試樣本對直接輸入到步驟6得到的基于細節內嵌注入的最優卷積神經網絡，即可得到高空間分辨率的高光譜圖像。