[發(fā)明專利]一種基于自注意力機(jī)制的航空影像地物分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011127714.0
• 申請(qǐng)日: 2020-10-20
• 公開(kāi)（公告）號(hào): CN112287989B
• 公開(kāi)（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 肖志峰;萬(wàn)橋;邵煒平;楊鴻珍;王志強(qiáng);凌芝;毛秀偉;賀家樂(lè);王艷艷;鄭星航;趙建朋;王凌
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué);國(guó)網(wǎng)浙江省電力有限公司;國(guó)網(wǎng)浙江省電力有限公司信息通信分公司
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V10/764;G06V10/82;G06V20/10;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明設(shè)計(jì)了一種基于通道域和空間域自注意力機(jī)制的深度卷積神經(jīng)網(wǎng)絡(luò)，該深度神經(jīng)網(wǎng)絡(luò)模型同時(shí)對(duì)通道域和空間域的特征進(jìn)行注意力的權(quán)重分配。該網(wǎng)絡(luò)模型的主要特點(diǎn)是在常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中加入了通道域模塊和空間域模塊，分別對(duì)特征在通道和空間進(jìn)行注意力權(quán)重的自適應(yīng)分配。實(shí)驗(yàn)表明，本發(fā)明方法跟常規(guī)的遙感影像場(chǎng)景分類方法相比，能夠取得更高的分類準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于遙感圖像處理技術(shù)領(lǐng)域，是一種基于通道域和空間域自注意力機(jī)制的深度卷積神經(jīng)網(wǎng)絡(luò)，應(yīng)用于航空影像地物的場(chǎng)景分類。

背景技術(shù)

場(chǎng)景分類對(duì)于遙感影像的理解和應(yīng)用有至關(guān)重要的作用，遙感影像場(chǎng)景分類的關(guān)鍵在于根據(jù)目標(biāo)影像的內(nèi)容獲取對(duì)應(yīng)的語(yǔ)義標(biāo)簽，特征提取則是這個(gè)過(guò)程中最關(guān)鍵的步驟。以往的遙感影像場(chǎng)景分類方法往往通過(guò)人工手動(dòng)進(jìn)行特征的選取，非常耗時(shí)費(fèi)力，并且由于人工選取在很大程度上依賴經(jīng)驗(yàn)和運(yùn)氣，大多不能取得滿意的分類結(jié)果。隨著深度學(xué)習(xí)的發(fā)展和應(yīng)用，出現(xiàn)了很多基于深度學(xué)習(xí)的遙感影像場(chǎng)景分類方法。然而，目前主流的深度卷積神經(jīng)網(wǎng)絡(luò)模型只關(guān)注了卷積特征的領(lǐng)域，即使后期感受野增大，也仍舊是局部區(qū)域計(jì)算，沒(méi)有考慮整個(gè)空間區(qū)域的影響，還不能有效捕獲卷積層的空間關(guān)聯(lián)信息，制約了深度卷積神經(jīng)網(wǎng)絡(luò)模型分類的準(zhǔn)確率。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明提出了一種結(jié)合了通道域和空間域的基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，用于提高影像的分類準(zhǔn)確度，該模型在常規(guī)的卷積網(wǎng)絡(luò)模型VGG16的結(jié)構(gòu)中加入了通道域注意力模塊和空間域注意力模塊，分別在通道域注意力和空間域注意力對(duì)特征進(jìn)行權(quán)重的自適應(yīng)分配，最后通過(guò)分類器對(duì)結(jié)果進(jìn)行判定。

其中通道域注意力模塊的處理過(guò)程如下，

先對(duì)VGG16模型提取的原始特征進(jìn)行全局均值池化操作，得到一個(gè)原始張量，使用一個(gè)全連接層對(duì)這個(gè)張量進(jìn)行降維，然后使用一個(gè)ReLU層和一個(gè)全連接層把降維后的張量恢復(fù)到原始張量大小，最后再使用Sigmoid函數(shù)，得到通道注意力權(quán)重張量，最后將通道注意力權(quán)重張量與原始特征相乘，得到通道域注意力模塊特征；

空間域注意力模塊的處理過(guò)程如下，

首先將通道域注意力模塊特征進(jìn)行最大池化操作后，得到空間域注意力模塊的輸入特征，將其展開(kāi)為N個(gè)的局部特征，使用高斯函數(shù)計(jì)算這些局部特征的相似度：其中x_i,x_j是局部特征值，i,j∈{0,1,..,N-1}，得到一個(gè)N*N大小的張量；

將輸入特征同時(shí)也經(jīng)過(guò)ReLU層后得到特征一，將得到的N*N的張量和特征一相乘，最后得到張量一，張量一經(jīng)過(guò)ReLU層后得到張量二；

使用張量二和輸入特征計(jì)算輸出特征：

z_i＝W_zy_i+x_i

其中i∈{0,1,..,N-1}，W_z是一個(gè)需要學(xué)習(xí)的初始化為0的權(quán)重矩陣，y_i為張量二中的第i個(gè)張量，x_i是輸入特征中的第i個(gè)特征，經(jīng)過(guò)空間域注意力模塊后，增加了W_zy_i在輸入特征x_i上，即對(duì)原始的N個(gè)局部區(qū)域進(jìn)行了注意力的權(quán)重分配；

輸出特征經(jīng)過(guò)三個(gè)全連接層后，最后利用Softmax分類器進(jìn)行分類結(jié)果的預(yù)測(cè)。

進(jìn)一步的，輸入VGG16模型之前，先對(duì)圖像進(jìn)行重采樣。

進(jìn)一步的，訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時(shí)，使用在ImageNet上預(yù)訓(xùn)練的VGG16權(quán)重作為初始值。

本發(fā)明具有以下特點(diǎn)：設(shè)計(jì)了一種基于通道域和空間域的自注意機(jī)制卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，相對(duì)于常規(guī)的遙感影像場(chǎng)景分類方法，該方法具有更高的準(zhǔn)確度。

附圖說(shuō)明