[發(fā)明專利]一種基于多層協(xié)調(diào)卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度圖像分類方法

在審

• 申請?zhí)枺?/td>: 202210141309.7
• 申請日: 2022-02-16
• 公開（公告）號: CN114494786A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計）人: 李鴻健;何明軒;段小林;何旭;羅煉
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/26;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務(wù)所 50215
• 代理人: 王海軍

1.一種基于多層協(xié)調(diào)卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度圖像分類方法，其特征在于，所述方法步驟包括：

獲取圖像數(shù)據(jù)集，并對圖像數(shù)據(jù)集中的待分類圖像進(jìn)行預(yù)處理；

采用卷積神經(jīng)網(wǎng)絡(luò)提取出待分類圖像的圖像特征，并利用定位子網(wǎng)獲取定位關(guān)鍵區(qū)域，得到待分類圖像的關(guān)鍵區(qū)域子圖；

對所述關(guān)鍵區(qū)域子圖進(jìn)行多尺度的切割填充，并隨機(jī)交換各個圖像塊，得到多組不同尺度的切割填充子圖；

對每組切割填充子圖中的圖像塊進(jìn)行位置編碼，并將對應(yīng)的位置編碼特征圖按照通道和切割填充子圖連接；

依次將不同尺度的切割填充子圖分別輸入到預(yù)設(shè)的訓(xùn)練子網(wǎng)的第一分類模型中，得到對應(yīng)類別的概率值；

將不同尺度的切割填充子圖的對應(yīng)類別的概率值輸入到預(yù)設(shè)的訓(xùn)練子網(wǎng)的第二分類模型中，通過加權(quán)平均后，得到待分類圖像的細(xì)粒度分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于多層協(xié)調(diào)卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度圖像分類方法，其特征在于，所述利用定位子網(wǎng)獲取定位關(guān)鍵區(qū)域，得到待分類圖像的關(guān)鍵區(qū)域子圖包括：

對提取出的圖像特征按照通道求和，將得到的求和特征圖進(jìn)行雙線性上采樣，得到與待分類圖像相同大小的顯著圖；

按照自適應(yīng)閾值對顯著圖進(jìn)行選取，得到掩碼矩陣，并將掩碼矩陣映射到對應(yīng)的待分類圖像，得到關(guān)注部分；

對關(guān)注部分進(jìn)行雙線性插值上采樣，得到與待分類圖像相同大小的關(guān)注圖像即待分類圖像的關(guān)鍵區(qū)域子圖。

3.根據(jù)權(quán)利要求2所述的一種基于多層協(xié)調(diào)卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度圖像分類方法，其特征在于，所述按照自適應(yīng)閾值對顯著圖進(jìn)行選取包括根據(jù)顯著圖的平均值和超參數(shù)計算出自適應(yīng)閾值，根據(jù)自適應(yīng)閾值與顯著圖中對應(yīng)矩陣元素的大小關(guān)系，確定出掩碼矩陣，即當(dāng)自適應(yīng)閾值大于顯著圖中對應(yīng)矩陣元素，則掩碼矩陣中的對應(yīng)矩陣元素取1，否則取0。

4.根據(jù)權(quán)利要求3所述的一種基于多層協(xié)調(diào)卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度圖像分類方法，其特征在于，所述自適應(yīng)閾值的計算公式表示為：

θ＝(1-α)·avg(S(x,y))

其中，θ表示自適應(yīng)閾值；α表示對關(guān)鍵區(qū)域的注意力的超參數(shù)，avg(S(x,y))表示顯著圖S(x,y)上的平均值，(x,y)表示矩陣元素。

5.根據(jù)權(quán)利要求1所述的一種基于多層協(xié)調(diào)卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度圖像分類方法，其特征在于，所述對所述關(guān)鍵區(qū)域子圖進(jìn)行多尺度的切割填充，并隨機(jī)交換各個圖像塊，得到多組不同尺度的切割填充子圖包括：

將關(guān)鍵區(qū)域子圖分別切割成不同的N×N個子圖像；

對每一種切割尺度下的每一個子圖像進(jìn)行0填充，得到填充后的子圖像IP_n，填充后的子圖像集合為I_pad{IP_n|0≤nN²}；

按照待分類圖像的空間位置，將每一種切割尺度下的0填充后的子圖像隨機(jī)拼接成新的待分類圖像；

對每一種切割尺度下的新的待分類圖像進(jìn)行下采樣，分別得到與原始待分類圖像大小相同的切割填充子圖；

其中，IP_n表示對第n個子圖像進(jìn)行填充后的圖像，n表示關(guān)鍵區(qū)域子圖即關(guān)注圖像的子圖像編號，N表示圖像塊的邊長；I_pad{·}表示填充后子圖像的集合。