[發明專利]一種基于圖神經網絡和深度哈希的細粒度鳥類圖像檢索方法

在審

• 申請號: 202111521433.8
• 申請日: 2021-12-13
• 公開（公告）號: CN114329031A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 孫涵;郎文溪
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06V10/40;G06K9/62;G06V10/80
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 王慧穎

1.一種基于圖神經網絡和深度哈希的細粒度鳥類圖像檢索方法，其特征在于，包括以下步驟：

步驟1、將圖像送入到骨干網絡Resnet50得到其特征F∈R^H×W×N，其中H，W和N分別表示特征的高，寬和通道數；將得到的特征圖轉化為注意力圖，再通過不同局部區域的注意力圖提取出具有判別性的局部特征；

步驟2、針對步驟1中生成的的注意力圖生成注意力丟棄后的圖像；

步驟3、通過步驟2中提取的部件特征構建圖來挖掘部件之間的關系，并得到融合特征；

步驟4、通過步驟3中得到的融合特征，經過哈希層得到哈希編碼；

步驟5、對于上述步驟中的特征提取和哈希編碼，構建損失函數，使網絡逐步收斂。

2.根據權利要求1所述的基于圖神經網絡和深度哈希的細粒度鳥類圖像檢索方法，其特征在于，步驟1中采用卷積函數f()將特征圖轉化為注意力圖，注意力圖的計算方法如公式(1)所示：

3.根據權利要求1或2所述的基于圖神經網絡和深度哈希的細粒度鳥類圖像檢索方法，其特征在于，步驟1中針對每幅圖像生成M個注意力圖，A_k∈R^H×W表示為第k個細粒度部件所對應的注意力圖；

局部區域的M部分特征通過公式(2)計算：

f_k＝g(A_k⊙F),k＝1,2,…,M(2)

其中f_k代表第k個局部特征，⊙代表特征圖F和第k個注意力圖的元素相乘，而g()是全局平均池化操作。

4.根據權利要求1所述的基于圖神經網絡和深度哈希的細粒度鳥類圖像檢索方法，其特征在于，步驟2具體包括以下步驟：

步驟2.1：隨機注意力圖選擇

對于學習到的M個空間注意力圖，進行隨機丟棄策略，從M個注意力圖中隨機選擇一張注意力圖A_k，以迫使網絡搜索其他信息豐富的局部區域；

步驟2.2：歸一化所選擇的注意力圖

對于每一幅訓練圖像，首先從A中隨機選擇一個注意力圖A_k，為了提高模型的收斂率，采用最小-最大歸一化，將A_k的值平滑到[0,1]的范圍，如公式(3)所示：

A_k^*表示增強后的第k個注意圖；

步驟2.3：構建丟棄掩膜

通過設定一個丟棄閾值T_d，將大于T_d∈[0,1]的元素的值設置為0，將其他元素的值設置為1，構建一個丟棄掩碼M_d，如公式(4)所示：

其中A_k^*(i,j)代表第i行和第j列中屬于第k個局部特征的元素值，M_d(i,j)代表相應位置上的丟棄掩碼的值，閾值T_d被設定為0.5；

步驟2.4：得到注意力丟棄圖像與相應的特征

新的注意力丟棄圖像X_d通過丟棄掩碼M_d和原始圖像之間相乘得到，并再次被送入網絡并學習M個新的部分特征通過這組方式，鼓勵注意力圖提出其他判別性的部件，最終提高定位的準確性和特征的質量。