[發(fā)明專利]基于半監(jiān)督的多模態(tài)深度學習分類方法

在審

• 申請?zhí)枺?/td>: 201711202305.0
• 申請日: 2017-11-27
• 公開（公告）號: CN107958216A
• 公開（公告）日: 2018-04-24
• 發(fā)明（設計）人: 李照奎;黃林;劉翠微;王天寧;張德園;趙亮;石祥濱;王巖;吳昊
• 申請（專利權(quán)）人: 沈陽航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 沈陽維特專利商標事務所(普通合伙)21229
• 代理人: 甄玉荃

技術領域

本發(fā)明涉及在用深度學習進行分類的同時考慮了樣本豐富的多模態(tài)信息以及各模態(tài)的分類貢獻差異性，利用半監(jiān)督的方法解決樣本不足問題的一種基于半監(jiān)督的多模態(tài)深度學習分類方法。

背景技術

高光譜遙感圖像具有的紋理、空間相關性以及光譜等多種模態(tài)信息，融合這么多方面的特征信息使得高光譜遙感可以探測到更多的地物信息，極大提高了人類對客觀世界的認知能力。

目前更多的研究者直接利用深度模型對部分模態(tài)信息進行融合，較少研究者針對模態(tài)的分類貢獻差異性來構(gòu)建深度網(wǎng)絡架構(gòu)。此外，圖像的分類性能主要依賴大量的訓練樣本，而實際往往缺乏足夠的有標記樣本。如何在擁有較少有標記樣本的基礎上，保持深度學習泛化能力的研究還比較少。

在公知技術中，現(xiàn)在有很多的深度模型，比如SAE、DBN、DCNN等。在2015年，Li等人提出基于SAE的深度架構(gòu)來組合底層次特征。Chen等人提出利用另一種新的深度模型DBN進行分類，DBN模型能夠提取更魯棒的特征，獲得優(yōu)于其它模型的分類精度。

在深度模型DCNN方面，DCNN使用局部連接可以有效地提取空間信息，并通過共享權(quán)重來減少訓練參數(shù)。Zhao等人首先通過局部判別嵌入方法壓縮光譜特征，通過CNN學習空間特征，然后把處理后的光譜特征和空間特征放入多分類器。Chen等人提出端到端的DCNN框架進行特征學習和高光譜圖像分類。A.Romero等人提出利用無監(jiān)督的卷積神經(jīng)網(wǎng)絡分析遙感圖像，該方法通過無監(jiān)督的貪心分層預訓練方法構(gòu)建一個DCNN模型。針對訓練樣本少而維數(shù)高所帶來的過擬合問題，Chen等人采用L2正則化和dropout來解決。Li等人提出利用CNN進行像素對特征分類的思想來補償數(shù)據(jù)的不足。

發(fā)明內(nèi)容

綜上所述，現(xiàn)有的公知技術研究中更多是直接利用深度模型對部分模態(tài)信息進行融合，較少研究者針對模態(tài)的分類貢獻差異性來構(gòu)建深度網(wǎng)絡架構(gòu)。公知技術的缺點在于，許多深度模型比如SAE、DBN的不同層間采用全連接模式，需要訓練大量的參數(shù)，而實際往往缺少大量可用的標記訓練樣本。此外，SAE和DBN在訓練階段，只是把空間信息表示成向量形式，因而不能更有效地提取空間信息。

對于DANN這個模型，它雖然使用局部連接可以有效地提取空間信息，并通過共享權(quán)值的方式減少參數(shù)的數(shù)量。但它需要很多個隱藏層才可以學到更復雜的數(shù)據(jù)特征，可能仍然需要學習非常多的參數(shù)，尤其當訓練樣本數(shù)量不充足時往往導致過擬合問題。

相比之下，現(xiàn)有的公知技術不能全面的考慮如何在擁有較少有標記樣本的基礎上，保持深度學習的泛化能力以及如何將樣本的多模態(tài)信息和少的標記樣本結(jié)合起來構(gòu)建深度學習架構(gòu)。

為了克服現(xiàn)有技術上的缺陷提出了本發(fā)明。本發(fā)明結(jié)合了樣本的空間領域特征，紋理特征，光譜特征的多模態(tài)信息以及用各模態(tài)信息的分類貢獻差異性來構(gòu)建深度網(wǎng)絡架構(gòu)，此外還考慮了少量標記樣本的問題，利用半監(jiān)督的方法來利用少量標記的樣本預測大量未標記的樣本。

所述代價是分類正確率。

本發(fā)明所采用的技術方案為：基于半監(jiān)督的多模態(tài)深度學習分類方法，包括如下步驟：

(1)將高光譜圖像分為光譜模態(tài)、空間紋理模態(tài)和空間相關性模態(tài)，針對每種模態(tài)分別設計對應的深度卷積神經(jīng)網(wǎng)絡；

(2)根據(jù)模態(tài)的分類貢獻差異度，設計融合三個模態(tài)的融合分類器F；每個模態(tài)本身具有自己的隱含屬性，因此可以對不同模態(tài)數(shù)據(jù)進行聚類，以獲得其內(nèi)在屬性類別，每個模態(tài)都對應一個隱含屬性分類器，分別為光譜隱含屬性分類器S，紋理隱含屬性分類器T，以及相關性隱含屬性分類器R。

(3)針對所有的標記樣本，利用聚類方法來獲取其隱含的屬性分類；

(4)通過聚類后每個樣本擁有兩個標簽，可以獲得這兩個類別的對應關系；

(5)對未標記的樣本進行聚類分析，先通過多目標深度網(wǎng)絡計算其深度特征，然后基于聚類標簽尋找近似的有標記樣本，最后根據(jù)有標記樣本的標記信息預測未標記樣本的標記；

所述步驟(5)需要設置預測標記的置信標準，如果超出標準則不做預測，當一定批次的未標記樣本被預測出標記信息后，自適應地調(diào)整每個模態(tài)的分類貢獻差異度。

本發(fā)明的有益效果：

本發(fā)明涉及基于半監(jiān)督的多模態(tài)深度學習分類方法，較為全面考慮了樣本多模態(tài)信息和各模態(tài)分類貢獻差異度，以及將其和半監(jiān)督方法結(jié)合起來解決標記樣本少的問題，來提高深度模型的泛化能力。