[發(fā)明專利]一種鬼影方位視覺注意力學(xué)習(xí)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310088624.2
• 申請(qǐng)日: 2023-02-09
• 公開（公告）號(hào): CN116109880A
• 公開（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 朱建清;陳永平;許榮銜;陳繼平;曾煥強(qiáng);杜吉祥;廖昀
• 申請(qǐng)（專利權(quán)）人: 華僑大學(xué);廈門億聯(lián)網(wǎng)絡(luò)技術(shù)股份有限公司
• 主分類號(hào): G06V10/77
• 分類號(hào): G06V10/77;G06V10/80;G06V10/82;G06N3/08
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發(fā)明提供一種鬼影方位視覺注意力學(xué)習(xí)方法。現(xiàn)有方位視覺注意力學(xué)習(xí)方法依賴卷積運(yùn)算進(jìn)行維度變換以及方位信息學(xué)習(xí)，計(jì)算和參數(shù)代價(jià)都較高。為此，本發(fā)明將輕量的鬼影模塊耦合到方位視覺注意力學(xué)習(xí)方法中，設(shè)計(jì)降維鬼影模塊輕量化壓縮特征映射圖，隨后進(jìn)行方位信息學(xué)習(xí)以節(jié)約計(jì)算和參數(shù)代價(jià)；設(shè)計(jì)去冗余鬼影模塊降低特征映射圖中的冗余信息，能改善特征質(zhì)量。本發(fā)明作為一種新穎的視覺注意力機(jī)制有廣泛應(yīng)用，例如圖像目標(biāo)檢測(cè)、圖像目標(biāo)識(shí)別、圖像分割等。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺、圖像視頻應(yīng)用領(lǐng)域，特別涉及一種鬼影方位視覺注意力學(xué)習(xí)方法。

背景技術(shù)

視覺注意力機(jī)制能夠抑制輸入特征圖中的不相關(guān)區(qū)域，同時(shí)突出重點(diǎn)區(qū)域的特征，能夠有效提升神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力，但是使用注意力機(jī)制往往會(huì)增加模型計(jì)算量，拖慢運(yùn)行速度。例如，方位注意力學(xué)習(xí)機(jī)制中采用多個(gè)卷積分支學(xué)習(xí)橫縱方向上的長(zhǎng)距離依賴關(guān)系，即方位融合信息，由于多次使用卷積模型參數(shù)和計(jì)算量耗費(fèi)巨大。

發(fā)明內(nèi)容

本發(fā)明提供一種鬼影方位視覺注意力學(xué)習(xí)方法，利用輕量化的鬼影模塊高效率地融合方位信息并減少特征中冗余信息，提高模型特征的學(xué)習(xí)能力。如圖1所示，所述方法包括：

步驟1、輕量化鬼影方位信息學(xué)習(xí)，設(shè)計(jì)降維鬼影模塊實(shí)現(xiàn)輕量化的縱向和橫向方位信息學(xué)習(xí)。

如圖2所示，所設(shè)計(jì)的降維鬼影模塊具體做法是：

步驟1.1、對(duì)輸入特征圖X進(jìn)行特征降維，獲得輸出特征圖F₁，計(jì)算如公式(1)所示：

其中，表示卷積運(yùn)算，W為I×J×1×1大小的卷積核，其中I和J＝MAX(8,I/32)分別表示輸入X的通道數(shù)量，輸出F₁的通道數(shù)量；

步驟1.2、對(duì)步驟1.1得到的輸出特征圖F₁逐個(gè)通道進(jìn)行輕量的線性運(yùn)算得到F₂，其計(jì)算如公式(2)所示：

F₂＝[Φ₁(F₁¹),Φ₂(F₁²),...,Φ_n(F₁ⁿ)],?n＝1,...,J?(2)

其中，F(xiàn)₁ⁿ表示F₁中第n個(gè)通道上的特征圖，Φ_n表示對(duì)F₁ⁿ進(jìn)行線性運(yùn)算；

步驟1.3、拼接步驟1.1得到的輸出特征圖F₁和步驟1.2得到的輸出特征圖F₂，得到通道數(shù)量為2J的輸出特征圖Y，計(jì)算如公式(3)所示：

Y＝Concat(F₁,F₂)?(3)

其中，Concat表示沿通道維度的拼接操作。

步驟2、輕量化鬼影特征去冗余，設(shè)計(jì)去冗余鬼影模塊減少輸入特征圖冗余，提升特征質(zhì)量。

如圖3所示，所設(shè)計(jì)的去冗余鬼影模塊具體做法是：

步驟2.1、將輸入特征圖X進(jìn)行特征轉(zhuǎn)換，獲得特征圖G₁，計(jì)算公式如公式(4)所示：

其中，表示卷積運(yùn)算，Ω為大小的卷積核，I為X的通道數(shù)量，G₁的通道數(shù)量則為X的一半；

步驟2.2、對(duì)步驟2.1得到的輸出特征圖G₁逐個(gè)通道進(jìn)行輕量的線性運(yùn)算得到G₂，其計(jì)算公式如公式(5)所示：