[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010987920.2
• 申請(qǐng)日: 2020-09-18
• 公開(kāi)（公告）號(hào): CN112132205B
• 公開(kāi)（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 路小波;陳詩(shī)坤;曹毅超
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 杜靜靜

1.一種卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，主要包括三個(gè)模塊：主干網(wǎng)絡(luò)模塊，多尺度融合模塊和分類頭模塊，其中主干網(wǎng)絡(luò)模塊利用帶有注意力機(jī)制的殘差模塊把輸入神經(jīng)網(wǎng)絡(luò)的RGB遙感圖像變?yōu)?種分辨率的特征圖，其中四組分辨率的特征圖尺度分別為尺度1：(N×64×56×56)，尺度2：(N×128×28×28)，尺度3：(N×256×14×14)，尺度4：(N×512×7×7)，這四組特征圖將被作為輸入送到多尺度融合模塊中；多尺度融合模塊讓主干網(wǎng)絡(luò)產(chǎn)生的特征圖之間進(jìn)行多尺度融合，高分辨率的特征圖被下采樣至低分辨率特征圖的尺寸，例如尺度1中56×56的特征圖將被分別下采樣至28×28,14×14,7×7的分辨率，并和相應(yīng)分辨率的輸入特征圖相加，低分辨率的特征圖將被上采樣至高分辨特征圖的分辨率并和相應(yīng)的輸入特征圖相加，這樣可以進(jìn)一步提取、綜合不同分辨率特征圖中的語(yǔ)義信息，有助于網(wǎng)絡(luò)進(jìn)行分類任務(wù)，多尺度融合模塊的輸出仍是四組不同分辨率的特征圖，這些特征圖將被作為輸入送進(jìn)分類頭模塊當(dāng)中；在分類頭模塊中，高分辨率的特征圖被下采樣至最低分辨率的特征圖，同時(shí)進(jìn)一步對(duì)特征圖里的語(yǔ)義信息進(jìn)行提取，然后將最低分辨率的特征圖送入池化層與分類器中，對(duì)圖像進(jìn)行分類，得到分類結(jié)果。

2.一種基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類方法，其特征在于，該方法包括以下步驟：

步驟1：將遙感數(shù)據(jù)集按一定比例劃分為訓(xùn)練集，驗(yàn)證集和測(cè)試集；

步驟2：建立卷積神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)；

步驟3：建立卷積神經(jīng)網(wǎng)絡(luò)的多尺度融合模塊，并在此模塊中引入注意力機(jī)制；

步驟4：建立卷積神經(jīng)網(wǎng)絡(luò)的分類頭模塊；

步驟5：加載訓(xùn)練集，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

步驟6：通過(guò)步驟5訓(xùn)練的網(wǎng)絡(luò)，對(duì)遙感數(shù)據(jù)集進(jìn)行分類。

3.根據(jù)權(quán)利要求2所述的基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類方法，其特征在于，所述步驟1的遙感數(shù)據(jù)集是一個(gè)名叫USTC_SmokeRS的公開(kāi)數(shù)據(jù)集，此數(shù)據(jù)集共包含有6類場(chǎng)景共計(jì)6225張RGB圖片，這6類場(chǎng)景分別是：煙，灰塵，霧霾，云，陸地和海岸。

4.根據(jù)權(quán)利要求2所述的基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類方法，其特征在于，所述步驟2的主干網(wǎng)絡(luò)由四堆嵌入了CBAM的殘差網(wǎng)絡(luò)基本塊構(gòu)成，這四堆分別包含5，6，9和5個(gè)嵌入CBAM的殘差網(wǎng)絡(luò)基本塊，CBAM中包含空間和通道維度的注意力，這些堆疊的基本塊是用來(lái)產(chǎn)生四種不同分辨率的特征圖，這四種分辨率為：56×56,28×28,14×14和7×7。

5.根據(jù)權(quán)利要求2所述的基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類方法，其特征在于：所述步驟3中的多尺度融合模塊，其輸入是由主干網(wǎng)絡(luò)產(chǎn)生的分辨率為56×56,28×28,14×14和7×7的四組特征圖，在多尺度融合模塊中，四組輸入的特征圖被融合起來(lái)產(chǎn)生四組新的特征圖，新的四組特征圖的分辨率與輸入一致，分別是56×56,28×28,14×14和7×7，多尺度融合模塊的輸出可被表示為：

其中，w是注意力權(quán)重；In(k)是輸入的第k組特征圖；w_jk的尺寸是N×2(j+5)×1×1；當(dāng)k大于j時(shí)，函數(shù)f(·)代表上采樣；當(dāng)k小于j時(shí)，f(·)代表下采樣；當(dāng)k等于j時(shí)，f(·)是代表恒等映射。

6.根據(jù)權(quán)利要求2所述的基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類方法，其特征在于，所述步驟4中分類頭模塊，此模塊的輸入是由多尺度融合模塊得到的四組不同分辨率的特征圖；在分類頭模塊中，使用尺寸為3×3，步長(zhǎng)為2的卷積核將最高分辨率(56×56)的特征圖下采樣至第二高分辨率(28×28)的尺寸，并將其與第二高分辨率的特征圖相加，重復(fù)此操作三次得到分辨率是7×7的特征圖，并將其送進(jìn)池化層和分類器中，得到最后的分類結(jié)果。