[發明專利]一種基于二階注意力機制的孿生網絡圖像檢索方法

在審

• 申請號: 202110410902.2
• 申請日: 2021-04-16
• 公開（公告）號: CN113190706A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 廖開陽;范冰;鄭元林;章明珠;黃港
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王丹

1.一種基于二階注意力機制的孿生網絡圖像檢索方法，其特征在于，包括以下步驟：

步驟1、對查詢圖像和訓練圖像進行背景減除處理；

步驟2、在卷積神經網絡的卷積層后增加二階注意力機制，得到二階注意力卷積神經網絡，所述二階注意力機制的作用是對卷積層的輸出進行處理，得到下一層的輸入；

步驟3、將步驟1處理后的所述查詢圖像、訓練圖像分別輸入二階注意力卷積神經網絡進行特征提取，得到查詢圖像特征、訓練圖像特征；

步驟4、將所述查詢圖像特征、訓練圖像特征進行全局平均池化、L2歸一化后得到查詢圖像描述符D2、訓練圖像描述符D2，D_s1表示每一張訓練圖的描述符，s＝1…n；

步驟5、將所述查詢圖像描述符、訓練圖像描述符進行相似性度量，按照相似度對訓練圖像描述符進行排序，得到排序結果；

步驟6、對所述排序結果進行重排，檢索得到與查詢圖像最相似的訓練圖像。

2.根據權利要求1所述的一種基于二階注意力機制的孿生網絡圖像檢索方法，其特征在于，步驟2中所述卷積神經網絡包括2*3個池化層、2*2個全連接層、3*1個卷積層，所述卷積層中的濾波器大小為5×5。

3.根據權利要求1所述的一種基于二階注意力機制的孿生網絡圖像檢索方法，其特征在于，步驟2中所述對卷積層的輸出進行處理，得到下一層的輸入的具體過程為：

步驟a、將大小為H×W的C維特征圖表示為特征圖F＝[f₁,…,f_c]，大小為H×W×C；將所述特征映射f_c重塑為具有C維，且特征S＝W×H的特征矩陣X，則協方差矩陣通過下式計算：

上式中，I為s×s的矩陣，1為s×s的單位矩陣；

步驟b、對所述協方差矩陣∑進行協方差歸一化得到：

∑＝U∧U^T (2)；

上式中，U為正交矩陣，∧＝diag(λ₁,…,λ_C)為具有特征值的對角矩陣；

步驟c、對步驟b處理后的協方差矩陣∑進行卷積歸一化，將其轉化為特征值的冪：

上式中，α為正實數，∧^α＝diag(λ^α₁,…,λ^α_C)；

步驟d、使通過收縮得到通道統計z，且z∈R^C×1；然后將通道統計z的第c維計算為：

上式中，H_GCP(·)表示全局協方差池函數；

步驟e、應用門控機制對通道c的統計值z_c進行轉換，得到通道c中的縮放因子w_c：

w_c＝f(w_Uδ(W_Dz_c)) (5)；

上式中，W_D、W_U為卷積層的權值，f(·)、δ(·)表示sigmoid、RELU的函數；

利用通道c中的縮放因子w_c對特征映射f_c進行調整得到特征圖得到下一層的輸入：

4.根據權利要求1所述的一種基于二階注意力機制的孿生網絡圖像檢索方法，其特征在于，步驟5的具體過程為：計算所述查詢圖像描述符D2與每一張訓練圖像描述符D_s1的歐式距離d_s(x_s，y)，其中，D2＝(y1…yn)，D_s1＝(x_s1…x_sn)：

根據所述歐式距離d_s(x_s，y)對訓練圖像進行從低到高排序，得到排序結果。

5.根據權利要求1所述的一種基于二階注意力機制的孿生網絡圖像檢索方法，其特征在于，步驟6的具體過程為：選取所述排序結果中排名靠前的幾張訓練圖像，計算其特征向量的平均值向量，根據平均值向量對結果進行重排，檢索得到與查詢圖像最相似的訓練圖像。