[發明專利]一種基于手繪輪廓圖匹配的圖像檢索方法及系統

在審

• 申請號: 201811046984.1
• 申請日: 2018-09-08
• 公開（公告）號: CN109145140A
• 公開（公告）日: 2019-01-04
• 發明（設計）人: 汪飛;林淑金;周凡;姜俊錕
• 申請（專利權）人: 中山大學
• 主分類號: G06F16/535
• 分類號: G06F16/535;G06F16/532;G06K9/62;G06K9/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于手繪輪廓圖匹配的圖像檢索方法及系統。本發明提出了一種基于圖像輪廓的HOAD特征描述符，通過使用DPM算法計算手繪圖像HOAD特征與圖片集HOAD特征之間的相似度來進行圖像檢索。本發明提出的基于圖像輪廓的HOAD特征描述符具有一定的魯棒性，能夠較好地表達圖像的內容，而本發明使用HOAD特征建立SBIR系統，較現有的SBIR系統具有更高的檢索準確率。本發明拋棄了一般SBIR系統所使用的BoF架構，而使用DPM算法計算特征相似度，其檢索速度較現有的SBIR系統更快。

技術領域

本發明涉及計算機視覺和圖像檢索領域，具體涉及一種基于手繪輪廓圖匹配的圖像檢索方法及系統。

背景技術

隨著移動終端的廣泛普及，使用屏幕進行交互成為了人們日常生活中不可缺少的一環。圖片作為信息的主要載體之一早已融入到人們生活的方方面面，無時無刻產生的圖像數據使人們面臨著如何有效檢索自己想要內容的問題。目前，對于這個問題，絕大多數圖像檢索系統采用的是基于圖像內容檢索(CBIR,Content-Based Image Retrieval)的方法，即對每張圖像的內容事先標注好的標簽進行檢索。

但CBIR并不能完全滿足用戶的需求。例如，用戶所想要檢索的圖片并沒有數字格式，即圖像存于大腦，無法使用CBIR以圖搜圖，用戶也無法通過語言來描述該圖，或描述過程過于復雜，或描述方式不夠準確。鑒于上述場景，行之有效的方法就是將用戶腦海中的圖片外觀記憶，用手繪的形式，將無法用言語表達的信息刻畫在系統輸入界面中，通過用戶的手繪草圖來檢索圖片——提取圖片庫的特征，與用戶輸入的手繪草圖特征進行相似度計算，系統返回相似度排序后最大的前k張圖片，記為top-k，該top-k序列的圖片子集即為本次請求的檢索結果——這便是基于手繪草圖的圖像檢索(SBIR,Sketch-Based ImageRetrieval)系統的核心思路。

SBIR已研究了25余年，檢索步驟逐漸歸攏至如下定式：將自然圖片轉化為人類繪制的手繪草圖近似的結果，構成<自然圖片，近似結果>這一對映射，使用手繪草圖檢索近似結果，最終得到自然圖片，即草圖->近似結果->自然圖片。目前手繪草圖檢索系統面臨的難題有如下三個方面：

1)特征表示：將手繪的線條圖與圖片庫中的圖片以一種計算機能夠識別的數據形式進行表示。絕大多數的手繪圖特征表示形式一般分為三個類別，分別是全局特征描述符、局部特征描述符、混合特征描述符。

a)全局特征描述符：從全局出發，著重描述圖片整體內容，例如圖片的顏色、空間結構信息。它擁有較局部特征描述符特征空間更小、匹配速度更快的優點，但由于是“宏觀”的描述，所以缺失圖像細節，匹配準確率低。

b)局部特征描述符：與全局特征描述符的描述方式相反，它是從單張圖片的某一特定區域提取特征，著重于圖像細節的刻畫，因此較全局特征描述符，其匹配準確率更高，這也是近年來SBIR系統最為推崇的特征描述方式。

c)混合特征描述符：一種從提取圖像顯著區域的輪廓入手，將問題域轉換到三維模型檢索中，使用草圖輪廓檢索圖像輪廓。

2)特征匹配：根據特征表示方法，定義合理的度量來匹配手繪草圖與圖片的特征，從而計算兩者的相似度。通過對相似度數據順序排序，手繪草圖檢索系統返回與手繪草圖最相似的圖片。

3)建立索引結構：由于現實生活中圖片庫的數量級是百萬級別，當進行手繪草圖檢索的時候，檢索系統會依次比較圖片庫中所有圖片與手繪草圖的相似度，返回最相似的檢索結果。若希望系統能夠在極短時間內返回檢索結果，則需要建立一種有效的檢索結構，優化手繪草圖-圖像的匹配順序，加速系統的檢索速度，使得系統檢索又快又準。