[發明專利]一種基于高光譜與太赫茲數據深度融合的分類方法

有效

• 申請號: 202010187221.X
• 申請日: 2020-03-17
• 公開（公告）號: CN111539447B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 劉憶森;周松斌;劉偉鑫;邱澤帆
• 申請（專利權）人: 廣東省科學院智能制造研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06V10/764;G06V10/80;G06V10/26;G06V10/774
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 劉新年

1.一種基于高光譜與太赫茲數據深度融合的分類方法，其特征在于，包括以下步驟：

步驟S1：對樣本進行高光譜成像數據采集；

步驟S2：對樣本進行太赫茲成像數據采集；

步驟S3：高光譜與太赫茲數據分割，得到每個樣本的高光譜與太赫茲數據，并構建樣本訓練集與測試集；

步驟S4：構建高光譜與太赫茲深度融合分類網絡；具體為：分別提取輸入端的四個分支的特征后進行信息融合，包括四個交叉融合分支：高光譜與太赫茲空間信息融合分支、高光譜與太赫茲譜信息融合分支、高光譜空間與譜信息融合分支、太赫茲空間與譜信息融合的特征融合分支，四種交叉融合分支分別經過softmax函數后，各得到一個分類輸出，四種交叉融合特征在總體融合分支中進行進一步的特征融合，經過softmax函數，得到總體分類輸出；

步驟S5：構建高光譜與太赫茲深度融合分類網絡損失函數：

L＝α*L₁+β*L₂+γ*L₃+δ*L₄+L_fusion

其中，L₁、L₂、L₃、L₄分別為四個交叉融合分支輸出分類結果的交叉熵損失函數，L_fusjon為總體融合分支輸出分類結果的交叉熵損失函數，α、β、γ、δ為取值于[0,1]之間的常系數；

步驟S6：采用梯度下降方法訓練高光譜與太赫茲深度融合分類網絡；

步驟S7：利用訓練好的高光譜與太赫茲深度融合分類網絡，采用輸出融合策略對測試集進行預測。

2.根據權利要求1所述的基于高光譜與太赫茲數據深度融合的分類方法，其特征在于，在步驟S3中，所述構建樣本訓練集與測試集具體包括以下步驟：

步驟S31：采用分水嶺算法對高光譜和太赫茲數據進行分割，得到每個樣本的有效像素；

步驟S32：根據樣本的大小，將步驟S31中樣本的高光譜有效像素置于尺寸為n×n的背景中，得到高光譜三維數據塊；將步驟S31中樣本的太赫茲有效像素置于尺寸為m×m大小的背景中，得到太赫茲三維數據塊；其中，n與m為正整數，n為m的整數倍；

步驟S33：將步驟S31中樣本的高光譜有效像素在光譜維求平均，得到平均光譜；將步驟S31中樣本的太赫茲有效像素在太赫茲譜維求平均，得到平均太赫茲譜；

步驟S34：高光譜三維數據塊、平均光譜、太赫茲三維數據塊、平均太赫茲譜作為一個樣本的數據，并將所有樣本劃分為訓練集與測試集。

3.根據權利要求2所述的基于高光譜與太赫茲數據深度融合的分類方法，其特征在于，在步驟S4中，所述網絡由特征提取模塊及特征融合模塊兩部分組成，所述特征提取模塊由二維卷積層、二維池化層、全連接層組成，所述特征融合模塊由三維卷積層、三維池化層、全連接層、輸出層組成；

所述特征提取模塊具有四個分支，分別為高光譜空間信息分支、高光譜譜信息分支、太赫茲空間信息分支、太赫茲譜信息分支。

4.根據權利要求3所述的基于高光譜與太赫茲數據深度融合的分類方法，其特征在于，所述高光譜空間信息分支以高光譜三維數據塊為輸入，并由二維卷積層和k個1/2下采樣二維池化層疊加構成，k為1到6之間的正整數；

所述太赫茲空間信息分支以太赫茲三維數據塊為輸入，并由二維卷積層和l個1/2下采樣二維池化層疊加構成，l為1到6之間的正整數；

其中從而保證經過卷積特征提取后，高光譜空間特征圖與太赫茲空間特征圖在空間維具有相同的尺寸。

5.根據權利要求3所述的基于高光譜與太赫茲數據深度融合的分類方法，其特征在于，所述高光譜譜信息分支以平均光譜為輸入，并由兩個全連接層構成；

所述太赫茲譜信息分支以平均太赫茲譜為輸入，并由兩個全連接層構成。

6.根據權利要求1所述的基于高光譜與太赫茲數據深度融合的分類方法，其特征在于，所述高光譜與太赫茲空間信息融合的具體方式為：將高光譜空間信息分支及太赫茲空間分支得到的空間尺寸相同的高光譜特征圖與太赫茲特征圖以拼接方式連接，并采用三維卷積層和三維池化層進行融合特征提取。