[發(fā)明專利]基于遷移學(xué)習(xí)的高光譜空譜聯(lián)合特征提取方法

有效

• 申請?zhí)枺?/td>: 202011633323.6
• 申請日: 2020-12-31
• 公開（公告）號: CN112580670B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計）人: 彭元喜;趙麗媛;楊文婧;周侗;劉煜;黃達;李雪瓊;徐利洋;藍龍;任靜;楊紹武;徐煒遐
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學(xué)
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/764;G06V10/80;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 國防科技大學(xué)專利服務(wù)中心 43202
• 代理人: 王文惠

本發(fā)明公開了基于遷移學(xué)習(xí)的高光譜空譜聯(lián)合特征提取方法，屬于深度學(xué)習(xí)遙感領(lǐng)域。提取高光譜數(shù)據(jù)的空譜聯(lián)合的特征的方法為首先設(shè)計1D CNN和2D CNN分別提取高光譜數(shù)據(jù)的光譜和空間特征，再將兩部分特征融合。為克服深度神經(jīng)網(wǎng)絡(luò)需要大量訓(xùn)練數(shù)據(jù)而高光譜數(shù)據(jù)缺少標(biāo)記樣本的矛盾，本發(fā)明采用在RGB圖像數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練的模型ResNet?18遷移到高光譜圖像目標(biāo)域的方法，實現(xiàn)網(wǎng)絡(luò)參數(shù)共享，減少訓(xùn)練模型的計算成本?；谔崛〉降慕M合特征訓(xùn)練SoftMax層實現(xiàn)高光譜目標(biāo)分類任務(wù)。最后，通過微調(diào)的遷移學(xué)習(xí)策略，使遷移后的模型更適應(yīng)高光譜數(shù)據(jù)，提高分類精度。本發(fā)明結(jié)構(gòu)清晰、易于實現(xiàn)，具有深厚的理論基礎(chǔ)和現(xiàn)實意義。

技術(shù)領(lǐng)域

本發(fā)明主要涉及到高光譜圖像分類領(lǐng)域，特指一種基于遷移學(xué)習(xí)的高光譜數(shù)據(jù)空譜聯(lián)合特征提取方法，用于高光譜分類。

背景技術(shù)

隨著光譜成像技術(shù)的發(fā)展，高光譜成像由于其從可見光到近紅外波長范圍的寬帶檢測而引起了遙感領(lǐng)域廣泛關(guān)注。其中針對高光譜數(shù)據(jù)進行目標(biāo)檢測和圖像分類的應(yīng)用也越來越成熟。早期的高光譜分類方法很大程度上依賴于人工專門知識，且分類依據(jù)大都基于淺層特征，導(dǎo)致分類精度低且成本高。近年來隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)方法以其可以模擬更復(fù)雜的函數(shù)，以及可以分層提取特征而具有更好的特征提取和表達能力。

將深度學(xué)習(xí)方法應(yīng)用在在高光譜分類問題中可以提高算法性能，降低大量手工標(biāo)注的成本并挖掘更深層的特征。一些具有代表性的方法有堆疊式自動編碼器(SAE)，受限玻爾茲曼機器(RBM)和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)。其中，CNN是在高光譜分類領(lǐng)域應(yīng)用最廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)，通常采用的結(jié)構(gòu)有1D CNN，2D CNN，3D CNN，以及混合結(jié)構(gòu)CNN網(wǎng)絡(luò)等。

然而，基于深度學(xué)習(xí)的高光譜分類問題存在兩個矛盾。一是高光譜不同類的光譜特征差異性低，僅利用光譜特征進行分類出錯率較高。二是隨著參與運算波段數(shù)目的增加，分類精度出現(xiàn)的“先增后降”的現(xiàn)象，深度學(xué)習(xí)模型易出現(xiàn)過擬合的現(xiàn)象。針對類內(nèi)差異的問題，通常采取的對應(yīng)方法是將空間領(lǐng)域信息嵌入到頻譜特征中，即綜合考慮高光譜的空譜特征再進行分類。針對休斯(Hughes)現(xiàn)象，一些代表性的方法有遷移學(xué)習(xí)(transferlearning，TL)，數(shù)據(jù)增強(DA)方法以及無監(jiān)督/半監(jiān)督學(xué)習(xí)方法。遷移學(xué)習(xí)是指將網(wǎng)絡(luò)參數(shù)從源域轉(zhuǎn)移到目標(biāo)域，從而減少隨機初始化過程并獲得更好的性能的方法。其優(yōu)點是：(1)不需要大量的訓(xùn)練樣本；(2)通過共享預(yù)訓(xùn)練模型的權(quán)重節(jié)省訓(xùn)練時間。

目前將遷移學(xué)習(xí)應(yīng)用于高光譜圖像問題中的諸多方法中，通常遷移的源域和目標(biāo)域均屬于同源或異源的高光譜數(shù)據(jù)。例如Yang等人提出基于遷移學(xué)習(xí)的雙分支CNN結(jié)構(gòu)通過提取空譜聯(lián)合特征用于高光譜分類，這種方法雖然通過遷移學(xué)習(xí)節(jié)省了隨機初始化過程，但仍然需要大量的高光譜標(biāo)記數(shù)據(jù)來對模型進行預(yù)訓(xùn)練。例如專利CN109754017A中提出的三維殘差網(wǎng)絡(luò)和遷移學(xué)習(xí)高光譜圖像分類方法通過遷移不同傳感器獲取的高光譜數(shù)據(jù)實現(xiàn)網(wǎng)絡(luò)模型更深的小樣本高光譜圖像分類，該發(fā)明針對異源高光譜之間的遷移學(xué)習(xí)，但沒有解決高光譜分類問題中休斯現(xiàn)象Hughes帶來的特征維度與樣本數(shù)目不匹配的問題，3D網(wǎng)絡(luò)結(jié)構(gòu)提取的特征更深，特征維度更高，異源高光譜之間的數(shù)據(jù)偏移(Data Shift)問題也無法得到有效改善。

然而，近年來在各種圖像分類任務(wù)中表現(xiàn)更佳的各種深度神經(jīng)網(wǎng)絡(luò)模型(例如ResNet，VGG-Net、Google-Net等)的訓(xùn)練測試數(shù)據(jù)集均為大量采集的RGB圖像。為了充分利用這類優(yōu)秀的模型結(jié)構(gòu)，并且希望通過遷移學(xué)習(xí)達到提升高光譜分類效果，解決高光譜有標(biāo)記訓(xùn)練數(shù)據(jù)少的難題，必須首先解決RGB圖像遷移到高光譜圖像過程中的維度失配問題。