[發明專利]一種基于端到端神經網絡的高光譜圖像顯著圖生成方法

在審

• 申請號: 202110593767.X
• 申請日: 2021-05-28
• 公開（公告）號: CN113327304A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 許廷發;黃晨;徐暢;樊阿馨
• 申請（專利權）人: 北京理工大學重慶創新中心;北京理工大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08;G06T5/50;G06T9/00
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 陽佑虹

本發明提供了一種基于端到端神經網絡的高光譜圖像顯著圖生成方法，包括S1：圖像預處理；S2：構建端到端的神經網絡模型提取空譜特征；S3：神經網絡的訓練；端到端的神經網絡模型結構為W2型卷積神經網絡，神經網絡模型包括左右兩支編碼通道和中間一支解碼通道分別為空間編碼模塊、光譜編碼模塊和解碼模塊，模型還包括用于生成預測顯著圖的結果預測模塊。本發明通過構建的端到端的神經網絡模型，能夠提取圖像的深層空譜特征，并直接生成預測顯著圖，節省了計算資源的消耗，提高了特征的魯棒性。

技術領域

本發明涉及圖像處理技術領域，特別涉及一種基于端到端神經網絡的高光譜圖像顯著圖生成方法。

背景技術

高光譜圖像是由數十或數百幅連續的窄波段圖像組成，能夠同時捕獲目標場景的空間維和光譜維信息，被稱為“數據立方體”。隨著高光譜成像技術的發展，高光譜成像儀能夠采集具有更高空間分辨率和光譜分辨率的高光譜數據。目前，高光譜圖像已在眾多領域中得到應用并取得成效，例如地物遙感、精準農業、醫學診斷、目標檢測等。

顯著圖是一種模擬人類視覺注意機制的模型，描述了現實場景中人眼關注的突出對象或區域，也稱為“感興趣區域”。顯著性檢測是通過算法來模擬視覺注意機制，提取圖像中的顯著性區域并生成顯著圖。在傳統方法中，主要利用圖像的顏色、紋理等初級特征，計算局部或全局對比度，從而獲得區域的顯著性。近年來，在計算機視覺中神經網絡模型得到深入研究，用于提取圖像的深層特征，基于這些深層特征在顯著性檢測中能夠生成質量更好的顯著圖。

高光譜圖像具有豐富的空間和光譜信息，但由于光譜數據具有較高的維度以及相關性，處理難度較大，因而現有的高光譜圖像顯著圖生成方法大都基于淺層光譜特征，未能充分利用高光譜圖像的空譜信息；而現有的基于深層特征的方法，一般先采用神經網絡提取特征再通過顯著性檢測生成顯著圖，采用兩階段過程會消耗更多計算資源，在網絡訓練和實用中較為復雜不夠便捷靈活。

發明內容

本發明提供了一種基于端到端神經網絡的高光譜圖像顯著圖生成方法，首先對高光譜圖像進行預處理，使得輸入的圖像規范化更適宜輸入到模型中，再將處理后的圖像數據輸入端到端的神經網絡模型中進行空譜特征的提取，獲取高光譜圖像的深層空譜特征，并直接生成預測顯著圖，最后將生成的預測顯著圖輸入到神經網絡中，通過計算預測顯著圖與真值顯著圖之間的損失訓練神經網絡模型。

本發明提供了一種基于端到端神經網絡的高光譜圖像顯著圖生成方法，方法包括如下步驟：

步驟S1：圖像預處理，對初始高光譜圖像進行預處理，得到處理后的圖像數據輸入端到端的神經網絡中；

步驟S2：深層空譜特征的提取，構建端到端的神經網絡模型，將經過預處理得到的高光譜圖像數據輸入到所述神經網絡模型中，提取空間特征和光譜特征并將兩種特征進行融合，進行結果預測并將預測結果融合獲得最終的預測顯著圖；

步驟S3：神經網絡模型的訓練，構建的訓練數據集，對高光譜圖像數據進行數據擴充，并輸入到網絡模型中，利用損失函數計算預測顯著圖與真值顯著圖的損失，優化參數訓練神經網絡。

進一步的，步驟S1中，所述圖像的預處理為計算采樣得到的初始高光譜圖像數據的均值和方差，并歸一化，得到處理后的高光譜數據。

進一步的，步驟S2中所述端到端神經網絡模型包括空間編碼模塊、光譜編碼模塊、解碼模塊以及結果預測，所述空間編碼模塊和所述光譜編碼模塊分別與所述解碼模塊連接，所述空間編碼模塊用于編碼空間特征，所述光譜編碼模塊用于編碼光譜特征，所述解碼模塊用于融合輸入的空間特征和光譜特征輸出預測顯著圖，并輸入到所述結果預測模塊中。

進一步的，所述空間編碼模塊與所述解碼模塊中卷積塊的各卷積層結構相同，各卷積層均包括conv3×3卷積、批歸一化層bn和激活函數relu，上層卷積層之間通過下采樣層downsample連接，下層卷積層之間通過上采樣層upsample連接，所述卷積塊整體構成U型結構。