[發明專利]一種基于圖神經網絡和深度哈希的細粒度鳥類圖像檢索方法

在審

• 申請號: 202111521433.8
• 申請日: 2021-12-13
• 公開（公告）號: CN114329031A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 孫涵;郎文溪
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06V10/40;G06K9/62;G06V10/80
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 王慧穎

本發明公開了一種基于圖神經網絡和深度哈希的細粒度鳥類圖像檢索方法，屬于細粒度圖像檢索領域，本發明包括以下步驟：基于局部特征的節點表示、局部特征加強、基于圖卷積的相關部件關系挖掘、語義哈希編碼、損失函數，提出一種基于圖神經網絡和深度哈希方法，適用于大規模鳥類圖像檢索的綜合方法，能夠高效率、低存儲、高精度的實現精細粒度鳥類圖像檢索。

技術領域

本發明屬于細粒度圖像檢索領域，尤其涉及一種基于圖神經網絡和深度哈希的細粒度鳥類圖像檢索方法。

背景技術

現階段對于自然保護區以及國家濕地區域，鳥類的監測可以作為其生物多樣性和生態環境評價的重要指標；對于農田以及機場區域，鳥類的監測影響著農戶經濟收入和機場的正常運轉。自然界中，鳥的種類豐富，因此，如何從大規模的數據集中，快速、準確的檢索到正確的鳥類，是鳥類專家所希望的。由于鳥類圖像的檢索與通用圖像檢索不同，其數據庫圖像和查詢圖像之間具有兩個特點：(1)類間差異小:鳥類之間的差異小，其差異往往在細微之處。例如，鳥頭或者尾部。(2)類內差異大，由于光照，姿態等因素，同種鳥類不同圖像差異較大。目前，鳥類的檢索常常由專家通過人工鑒別，往往開銷高昂，并且容易出錯。因此，面對大規模的鳥類數據集，如果能用計算機視覺的技術，實現低成本、低存儲、高效率的細粒度鳥類識別技術，對于工業界以及農業界都有著重要的意義。

近年來，在計算機視覺領域，細粒度圖像檢索已有先例。在早期，Xie等人基于手工特征計算圖像之間的相似度。在進行檢索時，先判斷圖像隸屬的大類，再進行細粒度級別的搜索。隨著卷積神經網絡的發展，基于深度學習的細粒度檢索方法被提出。這些深度方法大致可以分為監督方法和非監督方法。對于非監督檢索方法，SCDA等人提出了選擇性卷積描述符聚合方法，本方法首先定位細粒度圖像中的對象，并保留有用的深層描述符用于細粒度圖像檢索。然而，本方法使用預訓練模型作為固定的特征提取器，沒有訂制網絡學習相應的細粒度特征，對于提取的卷積描述符沒有考慮到他們所對應的細粒度部件之間的結構關系，因而檢索精度一般。

在監督方法中，細粒度圖像檢索被定義為深度度量學習問題。Zheng等人提出了CRL-WSL方法，它是個統一的框架，用于有效學習區分特征，并使用學習顯著區域對目標輪廓進行集中排序損失和分割。Zheng等人又提出了DCL-NC犯法，基于CRL-WSL方法做了改進，增加了歸一化尺度層和去相關排序損失，實現了較高的檢索精度。然而，這兩種方法編碼維度為1024維，其編碼維度較高，在實際的大規模的圖像檢索中，可能會遇到查詢速度慢和存儲冗余的問題。由此，使用低存儲的碼位實現高效率、高精度的細粒度圖像檢索是目前關注的主要問題。

發明內容

本發明提供了一種基于深度哈希和圖神經網絡的細粒度鳥類圖像檢索方法，能夠高效率、低存儲、高精度的實現精細粒度鳥類圖像檢索。

為實現上述技術目的，本發明的技術方案為：

一種基于圖神經網絡和深度哈希的細粒度鳥類圖像檢索方法，包括以下步驟：

步驟1、將圖像送入到骨干網絡Resnet50得到其特征F∈R^H×W×N，其中H，W和N分別表示特征的高，寬和通道數；將得到的特征圖轉化為注意力圖，再通過不同局部區域的注意力圖提取出具有判別性的局部特征；

步驟2、針對步驟1中生成的的注意力圖生成注意力丟棄后的圖像；

步驟3、通過步驟2中提取的部件特征構建圖來挖掘部件之間的關系，并得到融合特征；

步驟4、通過步驟3中得到的融合特征，經過哈希層得到哈希編碼；

步驟5、對于上述步驟中的特征提取和哈希編碼，構建損失函數，使網絡逐步收斂。

以上所述步驟中，步驟1中采用卷積函數f()將特征圖轉化為注意力圖，注意力圖的計算方法如公式(1)所示：