[發明專利]一種基于關鍵局部信息的圖像檢索方法

在審

• 申請號: 202310329312.6
• 申請日: 2023-03-30
• 公開（公告）號: CN116467476A
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 陳凱;王紫騰;李知栩;王杰瑞;張桐林
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06F16/532
• 分類號: G06F16/532;G06F16/583;G06F16/55;G06N3/0464;G06N3/048;G06N3/09
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 蘇一幟

本發明實施例公開了一種基于關鍵局部信息的圖像檢索方法、裝置、系統，涉及圖像處理技術領域，能夠實現利用關鍵局部內容檢索得到其主體的完整圖像，從而提升檢索準確度。本發明包括：原始圖庫圖像處理；查詢圖像特征提取；相似度檢索過程。具體為：調整原始圖像尺寸，提取圖庫原始圖像卷積特征，對卷積特征圖聚類，根據聚類特征圖生成關鍵內容區域，對原始圖像以及關鍵內容區域進行特征提取得到特征向量，調整查詢圖像尺寸，提取查詢圖像的特征向量，計算查詢圖像與原始圖庫圖像及其關鍵內容區域的相似度，根據結果排序并返回對應原始圖像。本發明適用于查詢圖像不具備完整性但是包含足以檢索到原圖的關鍵信息的圖像檢索任務。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于關鍵局部信息的圖像檢索方法。

背景技術

圖像信息的處理和檢索是進行信息推理、決策的重要一環，然而在實際應用中，普遍存在圖像信息殘缺、檢索內容不完整的情況。盡管這類問題通常可以隨著偵察技術、圖像采集技術和成像技術進步略有緩解，但是在只能獲得有限信息的前提下，一種能夠解決圖像信息不完備問題的系統尤為關鍵。

現有的圖像檢索技術大多以整個圖像為單位提取全局特征，獲得能表征圖像信息的特征向量，進而做相似度檢索，這導致用戶受到了查詢圖像完整性的限制。當輸入的查詢圖像僅為目標的一小部分，而圖庫中沒有對應區域的圖像時，往往無法達到檢索到原目標的效果。少數關注到此問題的圖像檢索技術采用了較為單一的圖像區域劃分方式，難以關注重要特征區域；或采用有監督的方式訓練神經網絡模型，進行關鍵特征區域的劃分，但是這種方式需要消耗人力標注數據集，且引入人的因素導致關鍵內容區域劃分較為主觀。并且，由于此類模型是按照某些特定類別進行訓練的，訓練好的網絡難以用于跨類別進行區域劃分。這就導致了難以實現查詢圖像不具備完整性但是包含足以檢索到原圖的關鍵信息的圖像檢索任務。

發明內容

本發明的實施例提供一種基于關鍵局部信息的圖像檢索方法，能夠實現利用關鍵局部內容檢索得到其主體的完整圖像，從而提升檢索準確度。

為達到上述目的，本發明的實施例采用如下技術方案：

第一方面，本發明的實施例提供的方法，包括：

S1、對原始圖像進行預處理，獲取對應關鍵內容區域的關鍵內容特征；

S2、接收用戶上傳的待查詢圖像，并提取待查詢圖像的圖像特征；

S3、利用數據圖庫中各原始圖像的全局特征和關鍵內容特征，對所述待查詢圖像進行相似度檢索。

結合第一方面，在第一方面的第一種可能的實現方式中，在S1中，所述預處理包括：

S11、提取原始圖像的卷積特征，并形成卷積特征圖；

S12、對所得到的卷積特征圖進行聚類，得到聚類特征圖；

S13、根據所述聚類特征圖生成關鍵內容區域；

S14、對所述原始圖像和關鍵內容區域分別進行特征提取，得到所述原始圖像和關鍵內容區域各自的特征向量。

結合第一方面的第一種可能的實現方式，在第二種可能的實現方式中，在S11中，所述提取原始圖像的卷積特征并形成卷積特征圖包括：

調整所述原始圖像最短邊尺寸至預設值；

通過深度殘差網絡提取得到特征圖，其中，所述深度殘差網絡中加入特征修正模塊；

通過所述特征修正模塊，獲取給定的中間特征圖的注意力權重，將所獲取的注意力權重與所述給定的中間特征圖相乘，得到帶有注意力的特征圖，其中，所述給定的中間特征圖由所述深度殘差網絡中的殘差模塊輸出。