[發明專利]一種圖像檢索系統和方法

有效

• 申請號: 202011451941.9
• 申請日: 2020-12-10
• 公開（公告）號: CN112559781B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 牛宇航;高東懷;寧玉文;薛楠
• 申請（專利權）人: 西北大學
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06F16/51;G06F16/583;G06F16/55;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 王愛濤

本發明涉及一種圖像檢索系統和方法。其中，圖像檢索系統包含三個模塊，分別為語義分割模塊、哈希編碼模塊和哈希檢索模塊。在語義分割模塊中將注意力機制結合到語義分割網絡U?Net上，以此實現對圖像的重要特征信息的提取，有效避免了對圖像局部重要特征提取不完全對結果造成的影響，提高圖像特征提取效果。哈希編碼模塊采用基于卷積神經網絡的哈希算法進行哈希編碼，以此對標簽的相似度進行學習并自我修正，進而能夠更好的體現圖像特征信息的編碼。哈希檢索模塊依據漢明距離檢索到與候選圖像最相似的圖像，以實現圖像數據的自動檢索，對圖像的語義信息和相似度比對也有更好的表現，且能夠在有效減少特征信息利用不完全的問題的同時，提高檢索精度。

技術領域

本發明涉及圖像檢索技術領域，特別是涉及一種圖像檢索系統和方法。

背景技術

近年來，隨著互聯網的普及與數字化多媒體技術和大數據技術的迅速發展，數字圖像已經廣泛應用于工業、醫療、教育、媒體和社會生活中的方方面面。如此廣泛地應用場景下，圖像數據出現了指數級的增長，產生了各式各樣的圖像數據庫。如何方便、快捷、準確地從大量圖像中檢索到用戶需要的圖像，進而對圖像數據進行更好地應用，已經成了當前的熱點問題。

傳統的圖像數據檢索主要依賴于關鍵字和文本信息，即對圖像文件建立關鍵字和文本信息索引，并對存儲路徑做標記，以此來建立圖像之間的聯系。但是它的缺點在于以下幾點：首先因為人思想的主觀性，不同人對同一張圖像的描述也不同，導致出現圖像語義信息不明確的問題；其次隨著數據量的增大，需要大量的人力成本去做標記和注釋；并且不能進行相似性檢索，無法對圖像進行比對研究。伴隨技術的發展，出現了基于內容的圖像檢索方法，此類方法利用圖像的顏色、形狀、紋理信息來進行圖像檢索，但是依然存在對圖像局部特征利用不完整、圖像實際語義信息存在偏差以及相似度比對不準確等問題。

圖像檢索技術在許多行業都發揮著重要的作用，當前對于圖像檢索技術的應用主要集中于傳統的圖像檢索方法。在醫學領域，影像科醫師在閱片時可以在既往病例中檢索與當前患者病理性狀類似的病例，進而根據以往的經驗認知輔助判斷，但由于醫學成像的特殊性和專業性，傳統的圖像檢索方法并不能檢索到最相似的圖像；在教育領域，根據心理學和腦認知學研究，圖像信息比文字信息更容易讓學生理解吸收，中小學科學實驗課程里在某些存在危險不適宜演示，或者學校不具備實驗條件的情況下，根據實驗結果檢索出大量的相關圖像和視頻信息有助于學生對實驗過程和結果更充分理解；嬰幼兒早教幼教課程中，為了讓幼童對知識和事物有更多感性認知，教師經常要通過大量相關圖像輔助教學。比如對于“貓”這個概念，因為貓有不同顏色與品種，圖像也有卡通、靜態、動態等多種狀態、且采集得到的實體圖像上貓可能存在玩耍、休息、進食等多種狀態，如果只通過文字和簡單的圖像并不足以讓幼童完全理解概念。反之，利用圖像檢索技術，對于各種狀態的圖像，都能從大量數據里檢索到相似度很高的圖像輔助教學，則教學的效率會更高。但當前的圖像檢索技術和方法，并不足以完全滿足用戶的需求，在實際應用中存在著以下缺陷：首先是當前圖像檢索技術并不能完全實現自動檢索，會增加使用者的工作量；其次當前圖像檢索技術主要依據圖像的顏色、形狀與紋理進行特征提取，對特征區域的提取和最終結果反饋效果較差，檢索結果不準確，甚至可能出現誤導，例如圖片里通常會存在背景和環境信息，如果背景和環境信息的顏色比較豐富鮮艷，主體事物顏色形狀比較簡單，則可能出現將背景和環境當成主體特征的現象；最后當前圖像檢索技術對細節信息不敏感，僅僅依靠顏色和外觀形狀為主要依據進行判斷，例如將冬天穿白色棉服的人群和雪人、北極熊等混為一談，當作類似的特征進行識別和反饋，和用戶的想法和初衷存在不符甚至背離的情況。