[發明專利]一種基于自注意力機制加權的細粒度圖像檢索方法

有效

• 申請號: 202010793691.0
• 申請日: 2020-08-10
• 公開（公告）號: CN111984817B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 林紅利;吳漢;王偉勝;賀可心
• 申請（專利權）人: 湖南大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06V10/44;G06V10/74;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于自注意力機制加權的細粒度圖像檢索方法，其特征在于實施步驟為：

1.1將圖像輸入卷積神經網絡，獲取卷積神經網絡的輸出特征層；

1.2將得到的特征層基于雙選模塊進行目標特征選擇，具體為：

(1)卷積神經網絡輸出的三維張量有兩種概念：局部激活圖集合和局部特征向量集合，

本方法同時考慮了這兩種概念，先對局部激活圖進行優化處理，再根據激活圖結果選擇局部特征向量，從而實現了更加精確的目標特征選擇；

(2)局部激活圖篩選，將輸出的三維張量視為c個形狀為h×w的局部激活圖的激活，對每個局部激活圖都進行噪聲值抑制處理；

(3)全局激活圖篩選，將處理過的局部激活圖相加，得到全局激活圖，取全局激活圖中所有值的均值作為閾值，全局激活圖中每個激活值與閾值比較結果記為0或1，最后得到一個二值化掩膜；

(4)目標特征選擇，此時將步驟(3)得到三維張量視為h×w個長度為c的局部特征向量，同時只保留二值化掩膜中值為1的位置對應的局部特征向量，將篩選出的m個目標特征集，記作形狀為m×c的目標特征矩陣；

1.3經過選擇的特征采用自注意力權重的方法進行特征聚合；

1.4通過計算特征向量的余弦相似度進行圖像檢索。

2.根據權利要求1所述的基于自注意力機制加權的細粒度圖像檢索方法，其特征在于本方法在圖像預處理和特征提取階段：

2.1基于對檢索效率的考慮將圖像的輸入最大尺寸限制為500像素；

2.2使用ImageNet數據集訓練得到的卷積神經網絡模型提取數據特征，將網絡模型最后一層的輸出層作為輸出特征。

3.根據權利要求1所述的基于自注意力機制加權的細粒度圖像檢索方法，其特征在于本方法的基于自注意力權重的特征聚合，基于自注意力機制的加權方法，評估了每個特征的重要程度，使得加權后的細粒度局部特征在池化聚合時仍然能夠得以體現，從而提升細粒度檢索的精度，整個特征聚合步驟分為以下三個步驟；

3.1局部特征全局相關性分數，目標特征矩陣中一個特性向量與所有的m個特征向量進行內積運算，再將m個結果求和，即得到該特征向量的全局相關性分數；

3.2局部特征權重，所有特征向量的全局相關性分數統一進行softmax函數歸一化處理，然后經過sigmoid函數最終每個特征的全局相關性得分轉換為權重值；

3.3加權特征聚合，對加權后的特征矩陣分別進行平均值池化和最大值處理，可以得到兩個特征向量，在將兩個特征向量分別進行L2-norm處理后，進行串聯，得到圖像最終的特征向量表示。