[發明專利]一種基于多模態特征融合的遙感影像分類方法

有效

• 申請號: 201510833382.0
• 申請日: 2015-11-25
• 公開（公告）號: CN105512661B
• 公開（公告）日: 2019-02-26
• 發明（設計）人: 李科;李欽;游雄
• 申請（專利權）人: 中國人民解放軍信息工程大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/02
• 代理公司: 鄭州睿信知識產權代理有限公司 41119
• 代理人: 陳浩

1.一種基于多模態特征融合的遙感影像分類方法，其特征在于，該分類方法的步驟如下：

1)將原始遙感影像中具有相似顏色、紋理的鄰近像素聚合在一起，對遙感影像進行超像素分割，得到超像素區域；

2)至少提取兩個模態的特征；

3)將得到的各個模態的特征融合后輸入到RBM模型中進行學習，得到各模態特征的聯合表達；

4)根據得到聯合表達對每一個超像素區域進行類型估計，從而實現對遙感影像的分類；

所述步驟2)中的至少兩個模態的特征包括淺層模態特征和深層模態特征，其中淺層模態特征為從遙感影像中提取出的SIFT特征，顏色直方圖特征和CENRIST特征，深層模態特征為采用卷積神經網絡從遙感影像中提取出的特征；

所述淺層模態特征和深層模態特征在輸入到RBM模型進行學習之前均需通過對應的DBN模型進行處理，以分別得到淺層模態的高層特征和深層模態的高層特征，輸入到DBN模型進行處理的深層模態特征為深層模態中的中層特征；輸入到DBN模型進行處理的淺層模態特征為淺層模態中的中層特征。

2.根據權利要求1所述的基于多模態特征融合的遙感影像分類方法，其特征在于，深層模態中的中層特征的提取過程如下：

A.從采用卷積神經網絡得到深層模態特征中提取設定層的特征圖；

B.將提取的特征圖調整至原圖像大小，利用調整后各個特征圖作為向量對每一個超像素區域進行描述，最終得到深層模態的中層特征。

3.根據權利要求1所述的基于多模態特征融合的遙感影像分類方法，其特征在于，淺層模態中的中層特征指的是從遙感影像中提取出的SIFT特征，顏色直方圖特征和CENRIST特征。

4.根據權利要求2所述的基于多模態特征融合的遙感影像分類方法，其特征在于，所述步驟A中設定層指的是卷積神經網絡的第4卷積層、第2池化層和第5池化層。