[發明專利]細粒度圖像分類方法、系統、計算機設備及存儲介質

有效

• 申請號: 202010951989.X
• 申請日: 2020-09-11
• 公開（公告）號: CN112163465B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 王偉凝;郭沛榕;李樂敏;譚燕;石紅霞
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V20/69
• 分類號: G06V20/69;G06K9/62;G06N3/04;G06V10/774
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李君

1.一種細粒度圖像分類方法，其特征在于，所述方法包括：

搭建細粒度圖像分類網絡；其中，所述細粒度圖像分類網絡為注意力抑制與注意力增強的雙分支網絡，包括殘差網絡和注意力層；

獲取訓練集；其中，所述訓練集由多張訓練圖像構成；

利用訓練集對細粒度圖像分類網絡進行訓練，采用梯度推進的最大值與最小值交叉熵損失函數，得到細粒度圖像分類模型；

獲取待分類圖像；

將待分類圖像輸入細粒度圖像分類模型中，使待分類圖像在殘差網絡中流動，而不經過注意力層，得到類別預測結果；

所述注意力層包括峰值刺激模塊、注意力抑制模塊和注意力增強模塊；

所述峰值刺激模塊包括一個通道平均池化層與一個空間最大池化層，用于輸出一個自注意力圖與一個峰值分布；

所述注意力抑制模塊，用于采用局部峰值選擇策略以及抑制激活值與面積受限制的判別區域策略，通過隨機擦除一個判別區域，迫使細粒度圖像分類網絡學習到其他判別區域的信息；

所述注意力增強模塊，用于采用Sigmoid運算，增強自注意力圖中重要特征的表示；

所述梯度推進的最大值與最小值交叉熵損失函數，如下式：

其中，s_i表示類別i的置信度分數，置信度分數第k⁺大的值為置信度分數第k^-小的值為l表示真實類別，c為類別總數，集合J表示所有類別的集合，J'表示所有負類的集合；J′_＞表示置信度分數大于的負類的集合，J′_＜表示置信度分數小于的負類的集合。

2.根據權利要求1所述的細粒度圖像分類方法，其特征在于，所述局部峰值選擇策略，具體如下：

根據需求，設置候選局部峰值個數k；

根據局部峰值數值大小進行降序排序；

從候選局部峰值中隨機選擇局部峰值作為待抑制峰值，其中以p為概率選中top-1的局部峰值，以1-p的概率從top-2～top-k的局部峰值中隨機選擇一個局部峰值，k≥2。

3.根據權利要求2所述的細粒度圖像分類方法，其特征在于，所述抑制激活值與面積受限制的判別區域策略，具體如下：

輸入自注意力圖、局部峰值選擇策略所選出的局部峰值及其位置；

設置抑制比率和面積閾值，則激活值閾值為局部峰值和抑制比率的乘積；

在自注意力圖中，定義一個以局部峰值為中心、面積為面積閾值的正方形區域作為初始判別區域，得到注意力抑制圖；

在初始判別區域內，若激活值大于或等于激活值閾值，則將注意力抑制圖對應位置設置為0；若激活值小于激活值閾值，則將注意力抑制圖對應位置設置為1；

將注意力抑制圖在非初始判別區域的對應位置全部設置為1；

在輸入到注意力層的特征圖的每一個通道上，使注意力抑制圖與特征圖逐元素相乘，得到抑制了一個判別區域的注意力抑制特征圖。

4.根據權利要求1所述的細粒度圖像分類方法，其特征在于，所述采用Sigmoid運算，增強自注意力圖中重要特征的表示，具體包括：

采用Sigmoid激活函數歸一化自注意力圖，得到注意力增強圖，在注意力增強圖中，像素的激活值越接近1，表示相應位置的判別能力越強；相反，像素的激活值越接近0，表示相應位置的判別能力越弱；

在輸入到注意力層的特征圖的每一個通道上，使注意力增強圖與特征圖逐元素相乘，得到增強有效信息后的注意力增強特征圖。

5.根據權利要求1所述的細粒度圖像分類方法，其特征在于，所述利用訓練集對細粒度圖像分類網絡進行訓練，采用梯度推進的最大值與最小值交叉熵損失函數，得到細粒度圖像分類模型，具體包括：

在殘差網絡除全連接層外的結構中導入ImageNet上的預訓練模型，并隨機初始化全連接層的網絡權值；

設置網絡參數和訓練參數；

加載訓練集，對訓練集中的訓練圖像進行預處理；

對細粒度分類網絡進行迭代訓練，使注意力抑制分支和注意力增強分支得到不同的概率值后，求和平均得到最終分類概率，采用梯度推進的最大值與最小值交叉熵損失函數進行計算，并在計算后進行梯度反傳，更新網絡參數，使損失逐漸減小至收斂，得到細粒度圖像分類模型。