[發(fā)明專(zhuān)利]基于注意力的CNN類(lèi)別激活圖生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911241048.0
• 申請(qǐng)日: 2019-12-06
• 公開(kāi)（公告）號(hào): CN111046939B
• 公開(kāi)（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 張文林;司念文;屈丹;羅向陽(yáng);閆紅剛;陳琦;張連海;牛銅;楊緒魁;李真;李喜坤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué);鄭州信大先進(jìn)技術(shù)研究院
• 主分類(lèi)號(hào): G06V10/764
• 分類(lèi)號(hào): G06V10/764;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 鄭州大通專(zhuān)利商標(biāo)代理有限公司 41111
• 代理人: 張立強(qiáng)

本發(fā)明屬于深度學(xué)習(xí)與計(jì)算機(jī)可視化技術(shù)領(lǐng)域，公開(kāi)一種基于注意力的CNN類(lèi)別激活圖生成方法，包括：步驟1、計(jì)算特征圖M＝(Msubgt;0/subgt;,Msubgt;1/subgt;,...,Msubgt;K?1/subgt;)每個(gè)像素點(diǎn)的梯度值作為神經(jīng)元類(lèi)別相關(guān)的空間注意力權(quán)重；步驟2、獲取各類(lèi)別神經(jīng)元對(duì)應(yīng)的連接權(quán)重作為通道注意力權(quán)重；步驟3、根據(jù)空間注意力權(quán)重及通道注意力權(quán)重生成CNN類(lèi)別激活圖。本發(fā)明將類(lèi)別激活權(quán)重作用注意力權(quán)重，同時(shí)利用特征圖的通道?空間位置重要性，與CAM、Grad?CAM方法相比，生成的類(lèi)別激活圖的可視化效果更好，并且該方法不受網(wǎng)絡(luò)結(jié)構(gòu)的限制，使用更加靈活。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)與計(jì)算機(jī)可視化技術(shù)領(lǐng)域，尤其涉及一種基于注意力的?CNN類(lèi)別激活圖生成方法。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional?Neural?Network,CNN)在許多領(lǐng)域取得了巨大?成功，但由于其端到端的“黑盒”特性，掩蓋了中間層知識(shí)存儲(chǔ)與處理機(jī)制，使?人們無(wú)法窺探其內(nèi)部特征及外部決策的依據(jù)，在一定程度上影響了其應(yīng)用價(jià)值。?可視化即為一種常見(jiàn)的用于解釋CNN決策原因、展示其內(nèi)部學(xué)習(xí)到的特征的方?式，目前有一些研究將其應(yīng)用到CNN的特征理解與決策原因解釋中，例如CAM?方法(class?activation?map)，Grad-CAM方法(gradient-based?CAM)(R.R.Selvaraju,M.Cogswell,A.Das,R.Vedantam,D.Parikh,andD.Batra.Grad-cam:Visual?explanations?from?deep?networks?via?gradient-basedlocalization.In?arXiv:1610.02391v3,2017.)，反卷積方法(deconvolution)，但有些方法受到網(wǎng)絡(luò)?結(jié)構(gòu)的限制，只能對(duì)特定結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行可視化，有些只能可視化內(nèi)部特征或?qū)?原圖進(jìn)行重建，無(wú)法將內(nèi)部特征和CNN外部決策依據(jù)關(guān)聯(lián)起來(lái)，實(shí)現(xiàn)對(duì)CNN?分類(lèi)依據(jù)的有效解釋。因此，需要在現(xiàn)有方法基礎(chǔ)上，提出一種更好的可視化方?法，在可視化CNN內(nèi)部所學(xué)特征的同時(shí)，對(duì)CNN決策依據(jù)進(jìn)行有效解釋?zhuān)?內(nèi)部所學(xué)特征與外部決策結(jié)果對(duì)應(yīng)起來(lái)，進(jìn)一步增強(qiáng)對(duì)CNN決策機(jī)制的理解。

發(fā)明內(nèi)容

本發(fā)明針對(duì)雖然基于深度卷積網(wǎng)絡(luò)的圖像分類(lèi)模型在準(zhǔn)確率上越來(lái)越高，但?由于深度網(wǎng)絡(luò)“端到端”屬性的限制，導(dǎo)致該分類(lèi)過(guò)程如同一個(gè)“黑盒”，無(wú)法?對(duì)其分類(lèi)結(jié)果進(jìn)行解釋?zhuān)矡o(wú)法定位圖像哪些區(qū)域的特征對(duì)分類(lèi)結(jié)果貢獻(xiàn)最大的?問(wèn)題，提出一種基于注意力的CNN類(lèi)別激活圖生成方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種基于注意力的CNN類(lèi)別激活圖生成方法，包括：

步驟1：計(jì)算特征圖M＝(M₀,M₁,...,M_K-1)每個(gè)像素點(diǎn)的梯度值作為神經(jīng)元類(lèi)?別相關(guān)的空間注意力權(quán)重；

步驟2：獲取各類(lèi)別神經(jīng)元對(duì)應(yīng)的連接權(quán)重作為通道注意力權(quán)重；

步驟3：根據(jù)空間注意力權(quán)重及通道注意力權(quán)重生成CNN類(lèi)別激活圖。

進(jìn)一步地，在所述步驟1之前還包括：

在含有GAP層或不含有GAP層的CNN中，對(duì)輸入特征圖?M＝(M₀,M₁,...,M_K-1)進(jìn)行特征提取與分類(lèi)層神經(jīng)元分類(lèi)；

計(jì)算第一類(lèi)別激活權(quán)重及第二類(lèi)別激活權(quán)重的關(guān)系，將第一類(lèi)別激活權(quán)重作?為通道注意力權(quán)重，將第二類(lèi)別激活權(quán)重作為空間注意力權(quán)重；所述第一類(lèi)別激?活權(quán)重為各類(lèi)別神經(jīng)元的連接權(quán)重，所述第二類(lèi)別激活權(quán)重為關(guān)于神經(jīng)元類(lèi)別c?的梯度值；第一類(lèi)別激活權(quán)重及第二類(lèi)別激活權(quán)重的關(guān)系如下：