[發明專利]基于圖網絡的多粒度特征學習的圖像精細分類方法及系統

有效

• 申請號: 202010918782.2
• 申請日: 2020-09-04
• 公開（公告）號: CN111814920B
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 郭海云;王金橋;伍虹燕
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于計算機視覺和模式識別領域，具體涉及了一種基于圖網絡的多粒度特征學習的精細分類方法及系統，旨在解決現有技術對目標多粒度層級關系利用不足，從而圖像精細分類準確率低的問題。本發明包括：基于獲取的待分類圖像構建多粒度層級關系圖；通過多粒度層級特征提取網絡提取多粒度類層級關系圖中每一個粒度層級的特征；進行多粒度層級特征集中各粒度層級特征的層級關系嵌入；通過分類器獲取各粒度層級的預測類別。本發明利用圖神經網絡學習圖像的多粒度層次間的語義關系，以共同促進的方式改善各個粒度的特征學習，特征提取網絡由一個主干網絡和三個分支網絡構成，在取得高精度的同時降低了模型參數量。

技術領域

本發明屬于計算機視覺和模式識別領域，具體涉及了一種基于圖網絡的多粒度特征學習的精細分類方法及系統。

背景技術

精細分類不同于傳統的分類任務，如區分車的類別，該任務需要對其子類進行區分，如車的年款。近年來，由于該任務具有極大的應用價值，在學術領域和工業領域得到了廣泛地關注。物體天然存在著多粒度類別層級，較高的層級對應著含義廣泛的類別，而較低的層級中的類別含義則比較精細，如圖2所示，為以汽車分類為例的多粒度類別層級分類說明示意圖，圖中有三個粒度層級，第一個層級為品牌，第二個層級為品牌下面的多個類型，第三個層級為同一個車型下面的多個年款。多粒度層級中蘊含著豐富的語義信息，可以幫助多粒度特征注意更具有區分性的區域，改善精細分類效果。

目前大多數精細分類任務都關注于單一類別層級的分類問題，忽略了這種多粒度層級關系，也有少數利用到這種類別層級關系的方法，例如：基于注意力機制，利用較高層級的特征以及類別預測得分來引導較低層級的特征學習和預測結果的優化。但這種方法僅僅利用了較高層級的信息來促進較低層級特征的學習，忽視了較低層級的信息對高層級特征的促進，即沒有充分利用粒度層級關系。

發明內容

為了解決現有技術中的上述問題，即現有技術對目標多粒度層級關系利用不足，從而圖像精細分類準確率低的問題，本發明提供了一種基于圖網絡的多粒度特征學習的精細分類方法，該精細分類方法包括：

步驟S10，基于獲取的待分類圖像構建多粒度層級關系圖；

步驟S20，通過訓練好的多粒度層級特征提取網絡提取所述多粒度類層級關系圖中每一個粒度層級的特征，獲得多粒度層級特征集；

步驟S30，進行所述多粒度層級特征集中各粒度層級特征的層級關系嵌入，獲得多粒度層級關聯狀態特征集；

步驟S40，對于所述多粒度層級關聯狀態特征集中每一個粒度層級關聯狀態特征，通過分類器獲取各粒度層級的預測類別；

其中，所述多粒度層級特征提取網絡基于Lip-ResNet50構建，包括主干網絡和各粒度層級的分支網絡，以交叉熵函數作為所述多粒度層級特征提取網絡訓練的損失函數。

在一些優選的實施例中，步驟S10包括：

步驟S11，以代表待分類圖像從高到低排列的 個粒度層級；

步驟S12，構建待分類圖像的多粒度層級關系圖：

其中， 是由 個粒度層級組成的點的集合， 表示粒度層級 的節點； 是 中任意兩個粒度層級節點組成的邊的集合， 表示粒度層級節點 和 之間的無向邊。

在一些優選的實施例中，步驟S30包括：

步驟S31，以 代表待分類圖像從高到低排列的 個粒度層級對應的特征；對于粒度層級節點 ，其初始狀態特征 ；

步驟S32，在 時刻，從 的鄰居節點 聚集信息 ； 為預先設定的多粒度特征學習周期；

步驟S33，基于 時刻 的聚集信息 以及 時刻 的狀態特征 ，獲取 時刻節點 的狀態特征 ；