[發明專利]一種自適應交互結構學習的雙二次池化模型

在審

• 申請號: 202110350164.7
• 申請日: 2021-03-31
• 公開（公告）號: CN113139587A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 譚敏;袁富;俞俊
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明提出了一種自適應交互結構學習的雙二次池化模型。本發明步驟如下：首先利用層次化深度模型提取圖像的多級深度特征，在跨級特征間獲得多組雙二次池化特征后，構建維度為池化組個數的權重向量；在深度網絡中添加權重與池化特征的乘法模塊，在加權池化特征上進行分類；其次對整個權重向量施加L1范數的稀疏約束；然后設計監督模塊，在所有加權池化特征上構建分類損失。4、根據上述步驟建立多任務端到端的深度學習模型，在特定數據集上訓練并微調整個網絡，將最終模型在測試集上測試性能。本發明能針對特定數據集自適應挖掘最合適的交互結構，具有很強的現實性和普適性。

技術領域

本發明涉及細粒度圖像分類領域，尤其涉及基于雙二次池化的自適應交互結構的學習，并且依靠純視覺信息在常用基準數據集上實現具有競爭力的分類結果。

背景技術

圖像分類是計算機視覺領域的一個熱門研究課題。隨著深度學習的進步，細粒度圖像分類受到了相當多的關注，這一技術將在瀕危生物物種保護，商品識別，交通違章汽車管理等許多領域都發揮重要作用。近年來已經提出了許多基于深度學習的細粒度分類方法。細粒度圖像分類旨在將對象與一般類別中的不同子類別區分開來，例如，不同種類的鳥類，狗或不同類型的汽車。然而，細粒度分類是一項非常具有挑戰性的任務，因為來自相近子類別的對象可能具有微小的類別差異，而同一子類的對象，由于存在拍攝尺度或視角的不同，或是對象姿態的不同、復雜背景和遮擋的變化，導致同一子類別中的對象可能呈現較大的外觀變化，因此造成了細粒度分類的難度較大。正因如此，細粒度圖像分類仍然面臨著巨大挑戰。

依據有無人工標注信息，細粒度圖像分類可分為強監督和弱監督方法兩類。強監督細粒度分類在訓練過程中需要提供標注信息，主要包括標注框和局部區域定位等，借助于這些信息準確完成局部定位和獲取前景對象，但由于人工標注信息代價昂貴，因此也限制了此類算法的實用性。

弱監督的細粒度分類則僅要求給圖像提供類別信息，因此應用場景更為廣泛，近年來的算法大部分都是研究弱監督的細粒度圖像分類，并取得了較大突破，而常用的一種解決思路便是高階池化。基于高階池化的思想衍生出了一系列的具體算法，例如雙線性卷積神經網絡(BCNN)、有層次的雙線性池化(HBP)以及雙二次池化(HQP)等。這些模型的目的都是要充分發掘圖像中具有區分度的重要信息。但現有的池化方法往往只考慮了固定的特征交互，沒有充分發掘深度神經網絡中不同層次不同尺度特征交互的互補性，也沒有考慮如何從多組池化后的特征中挑選出最適合的特征組合或者交互結構。

發明內容

本發明基于雙二次池化(HQP)以及自適應學習的思想，提供了一種自適應交互結構學習的雙二次池化模型。該方法將自適應的交互結構選擇與圖像分類融合在一個統一的多任務模型框架中，同時也可以端到端地完成訓練，并在常用的細粒度分類基準數據集上實現了具有競爭力的分類準確率，其步驟如下：

步驟(1)：圖像數據預處理

由于數據集(現有數據集)中圖像尺寸大小不一，在模型訓練前需要對圖像做尺寸變換和進行常規的數據增強操作，使得圖像尺寸大小一致。

步驟(2)：基于雙二次池化的多尺度特征交互，構建層次化深度模型。

在卷積神經網絡中，不同層次的模型輸出包含有不同粒度的目標特征，由粗到細的目標特征對應了模型由高到淺層的輸出。通過雙二次池化(HQP)的方法對不同層次的特征進行融合可以有效提取出對分類具有關鍵性作用的細節特征。

步驟(3)：構建權重向量

利用層次化深度模型提取預處理過后圖像的多個雙二次池化特征后，構建維度為雙二次池化特征個數的權重向量；并且在層次化深度模型中添加加權池化特征；所述的加權池化特征是由權重向量與對應的雙二次池化特征相對應乘獲得。

步驟(4)：對權重向量進行稀疏約束