[發(fā)明專利]基于圖網(wǎng)絡(luò)的多粒度特征學(xué)習(xí)的圖像精細(xì)分類方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010918782.2
• 申請日: 2020-09-04
• 公開（公告）號: CN111814920B
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計）人: 郭海云;王金橋;伍虹燕
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于圖網(wǎng)絡(luò)的多粒度特征學(xué)習(xí)的圖像精細(xì)分類方法，其特征在于，該圖像精細(xì)分類方法包括：

步驟S10，以代表獲取的待分類圖像從高到低排列的個粒度層級，構(gòu)建待分類圖像的多粒度層級關(guān)系圖：

其中，是由個粒度層級組成的點的集合，表示粒度層級的節(jié)點；是中任意兩個粒度層級節(jié)點組成的邊的集合，表示粒度層級節(jié)點和之間的無向邊；

步驟S20，通過訓(xùn)練好的多粒度層級特征提取網(wǎng)絡(luò)提取所述多粒度層級關(guān)系圖中每一個粒度層級的特征，獲得多粒度層級特征集；

步驟S30，進行所述多粒度層級特征集中各粒度層級特征的層級關(guān)系嵌入，獲得多粒度層級關(guān)聯(lián)狀態(tài)特征集；

步驟S40，對于所述多粒度層級關(guān)聯(lián)狀態(tài)特征集中每一個粒度層級關(guān)聯(lián)狀態(tài)特征，通過分類器獲取各粒度層級圖像的預(yù)測類別；

其中，所述多粒度層級特征提取網(wǎng)絡(luò)基于Lip-ResNet50構(gòu)建，包括主干網(wǎng)絡(luò)和各粒度層級的分支網(wǎng)絡(luò)，以交叉熵函數(shù)作為所述多粒度層級特征提取網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)。

2.根據(jù)權(quán)利要求1所述的基于圖網(wǎng)絡(luò)的多粒度特征學(xué)習(xí)的圖像精細(xì)分類方法，其特征在于，步驟S30包括：

步驟S31，以代表待分類圖像從高到低排列的個粒度層級對應(yīng)的特征；對于粒度層級節(jié)點，其初始狀態(tài)特征；

步驟S32，在時刻，從的鄰居節(jié)點聚集信息；為預(yù)先設(shè)定的多粒度特征學(xué)習(xí)周期；

步驟S33，基于時刻的聚集信息以及時刻的狀態(tài)特征，獲取時刻節(jié)點的狀態(tài)特征；

步驟S34，令，迭代進行步驟S32和步驟S33，獲得時刻各粒度層級節(jié)點的狀態(tài)特征，構(gòu)成多粒度層級關(guān)聯(lián)狀態(tài)特征集。

3.根據(jù)權(quán)利要求2所述的基于圖網(wǎng)絡(luò)的多粒度特征學(xué)習(xí)的圖像精細(xì)分類方法，其特征在于，步驟S32中“從的鄰居節(jié)點聚集信息”，其方法為：

其中，為粒度層級節(jié)點的領(lǐng)域，為時刻可學(xué)習(xí)的線性變換矩陣，是的鄰居節(jié)點在時刻的狀態(tài)特征。

4.根據(jù)權(quán)利要求2所述的基于圖網(wǎng)絡(luò)的多粒度特征學(xué)習(xí)的圖像精細(xì)分類方法，其特征在于，步驟S33中“基于時刻的聚集信息以及時刻的狀態(tài)特征，獲取時刻節(jié)點的狀態(tài)特征”，其方法為：

其中，、、、、和是可學(xué)習(xí)參數(shù)，代表sigmoid函數(shù)，代表按元素相乘， 代表雙曲正切函數(shù)。

5.根據(jù)權(quán)利要求1所述的基于圖網(wǎng)絡(luò)的多粒度特征學(xué)習(xí)的圖像精細(xì)分類方法，其特征在于，所述分類器為Softmax分類器。

6.根據(jù)權(quán)利要求1所述的基于圖網(wǎng)絡(luò)的多粒度特征學(xué)習(xí)的圖像精細(xì)分類方法，其特征在于，所述多粒度層級特征提取網(wǎng)絡(luò)，其粒度層級為三層時，主干網(wǎng)絡(luò)由conv_1, conv_2x，conv_3x組成，科層級分支網(wǎng)絡(luò)由conv_4x構(gòu)成，屬層級分支網(wǎng)絡(luò)和種層級分支網(wǎng)絡(luò)均由conv_4x，conv_5x構(gòu)成。

7.一種基于圖網(wǎng)絡(luò)的多粒度特征學(xué)習(xí)的圖像精細(xì)分類系統(tǒng)，其特征在于，該圖像精細(xì)分類系統(tǒng)包括多粒度層級關(guān)系圖構(gòu)建模塊、特征提取模塊、特征學(xué)習(xí)模塊和分類模塊；

所述多粒度層級關(guān)系圖構(gòu)建模塊，配置為以代表獲取的待分類圖像從高到低排列的個粒度層級，構(gòu)建待分類圖像的多粒度層級關(guān)系圖：

其中，是由個粒度層級組成的點的集合，表示粒度層級的節(jié)點；是中任意兩個粒度層級節(jié)點組成的邊的集合，表示粒度層級節(jié)點和之間的無向邊；

所述特征提取模塊，配置為通過訓(xùn)練好的多粒度層級特征提取網(wǎng)絡(luò)提取所述多粒度層級關(guān)系圖中每一個粒度層級的特征，獲得多粒度層級特征集；

所述特征學(xué)習(xí)模塊，配置為進行所述多粒度層級特征集中各粒度層級特征的層級關(guān)系嵌入，獲得多粒度層級關(guān)聯(lián)狀態(tài)特征集；

所述分類模塊，配置為對于所述多粒度層級關(guān)聯(lián)狀態(tài)特征集中每一個粒度層級關(guān)聯(lián)狀態(tài)特征，通過分類器獲取各粒度層級圖像的預(yù)測類別；

其中，所述多粒度層級特征提取網(wǎng)絡(luò)基于Lip-ResNet50構(gòu)建，包括主干網(wǎng)絡(luò)和各粒度層級的分支網(wǎng)絡(luò)，以交叉熵函數(shù)作為所述多粒度層級特征提取網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)。