[發(fā)明專利]一種基于元學(xué)習(xí)和協(xié)同注意力的小樣本遙感圖像目標(biāo)檢測方法

有效

• 申請?zhí)枺?/td>: 202110198130.0
• 申請日: 2021-02-22
• 公開（公告）號: CN112818903B
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 李紅光;李烜燁;王菲;于若男
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V10/40;G06V10/774;G06V10/764;G06V10/80;G06K9/62;G06F16/58
• 代理公司: 北京永創(chuàng)新實(shí)專利事務(wù)所 11121
• 代理人: 易卜

1.一種基于元學(xué)習(xí)和協(xié)同注意力的小樣本遙感圖像目標(biāo)檢測方法，其特征在于，具體步驟如下：

步驟一、取若干類目標(biāo)的遙感圖像分別劃分訓(xùn)練集和測試集；

步驟二、從元學(xué)習(xí)的思想出發(fā)，對訓(xùn)練集進(jìn)行one-way one-shot的任務(wù)劃分，得到支持集和查詢集；

步驟三、根據(jù)標(biāo)注信息對支持集中的每個(gè)圖像進(jìn)行裁剪，得到各圖像對應(yīng)的僅保留目標(biāo)的圖像；

步驟四、將目標(biāo)圖像集和查詢集，以孿生網(wǎng)絡(luò)雙輸入的形式輸入改進(jìn)的特征提取網(wǎng)絡(luò)，輸出修正后的查詢集的特征分布；

改進(jìn)的特征提取網(wǎng)絡(luò)是指：在特征提取網(wǎng)絡(luò)中的4倍、8倍、16倍和32倍下采樣層中分別添加協(xié)同注意力模塊；協(xié)同注意力模塊分為空間域注意力和通道域注意力；

空間域注意力non-local模塊的具體運(yùn)算過程為：

首先，對于目標(biāo)圖像集S和查詢集圖像Q，經(jīng)過主干網(wǎng)絡(luò)提取到的特征分別為α(S)和α(Q)；

然后，對支持特征集α(S)和查詢特征集α(Q)各自進(jìn)行1*1卷積后，支持特征集得到g特征和θ特征，查詢特征集得到g特征和特征；

接著，將支持特征集的θ特征和查詢特征集的特征進(jìn)行矩陣點(diǎn)乘操作，得到兩個(gè)特征之間的互相關(guān)關(guān)系；

最后，對互相關(guān)的兩個(gè)特征θ和進(jìn)行softmax操作歸一化注意力權(quán)重，并將注意力權(quán)重與查詢集的g特征和支持集的g特征分別做點(diǎn)乘；點(diǎn)乘后的查詢集特征與原查詢集圖像Q做殘差運(yùn)算，同時(shí)，點(diǎn)乘后的支持集特征與原輸入目標(biāo)圖像集做殘差運(yùn)算，兩個(gè)殘差結(jié)果作為non-local模塊的輸出；

通道域注意力squeeze模塊的具體運(yùn)算過程為：

首先，將non-local模塊中輸出的殘差支持集特征分出兩支：分別做全局平均池化和全局最大池化；

然后，將每個(gè)分支都進(jìn)行1*1卷積與全連接操作，并將兩個(gè)分支的結(jié)果求和，得到1*1*channels的權(quán)重特征；

最后，將1*1*channels的權(quán)重特征作為模板，與non-local模塊輸出的殘差查詢集特征進(jìn)行卷積，從通道上修正查詢集的特征分布；

步驟五、分別構(gòu)建分類分支、邊界框?qū)捀叻种А⒅行狞c(diǎn)補(bǔ)償分支和方向分支，對修正后的查詢集特征進(jìn)行后處理，構(gòu)建基于各分支的多任務(wù)損失函數(shù)；

分類分支完成類別判斷任務(wù)，輸出通道數(shù)等于類別數(shù)的熱力圖，與真實(shí)框生成的熱力圖做分類損失；邊框?qū)捀叻种Ш椭行狞c(diǎn)補(bǔ)償分支通過與真實(shí)框的對應(yīng)信息做回歸損失；而方向分支對應(yīng)的損失由Pixels-IoU計(jì)算得到，具體為：

首先，通過對各分支的預(yù)測信息進(jìn)行提取，得到有向預(yù)測框；

然后，通過像素計(jì)數(shù)的方式計(jì)算有向預(yù)測框與標(biāo)注的真實(shí)框之間的Pixels-IoU：

具體為：

首先，對于像素點(diǎn)p_ij，利用像素點(diǎn)p_ij與有向預(yù)測框b的垂直距離和水平距離計(jì)算δ(p_ij|b)；

計(jì)算公式為：

其中，表示像素點(diǎn)p_ij到框b垂直中線的距離；h表示預(yù)測框b的高度；表示像素點(diǎn)p_ij到框b水平中線的距離；w表示預(yù)測框b的寬度；

然后，判斷δ(p_ij|b)是否為1，如果是，表示像素點(diǎn)p_ij在框b內(nèi)，否則，像素點(diǎn)p_ij不在此框內(nèi)；

最后，取真實(shí)框和預(yù)測框的最小外接矩形作為參考區(qū)域，選取同時(shí)在真實(shí)框和預(yù)測框內(nèi)的像素點(diǎn)數(shù)S’，以及兩個(gè)框內(nèi)的所有像素點(diǎn)數(shù)之和T’；S’與T’的比值即為Pixels-IoU損失，由Pixels-IoU損失計(jì)算方向預(yù)測損失；

最終，利用各分支對應(yīng)的損失函數(shù)計(jì)算有向預(yù)測框的損失函數(shù)；

公式為：

L_det＝L_cls+λ_sizeL_size+λ_offL_off+λ_angL_ang

其中，L_cls為分類損失，L_size為邊界框?qū)捀叱叨葥p失，L_off為中心點(diǎn)補(bǔ)償損失；而L_ang為方向預(yù)測損失；λ_size為邊界框尺度對應(yīng)的損失權(quán)重；λ_off為中心點(diǎn)補(bǔ)償損失對應(yīng)的損失權(quán)重；λ_ang為方向預(yù)測損失對應(yīng)的損失權(quán)重；

步驟六、對于測試集中包含新類別目標(biāo)的遙感圖像，利用訓(xùn)練好的改進(jìn)的特征提取網(wǎng)絡(luò)進(jìn)行目標(biāo)預(yù)測。