[發明專利]一種基于形狀回歸的草圖圖像檢索方法

有效

• 申請號: 201810304969.6
• 申請日: 2018-04-08
• 公開（公告）號: CN108681555B
• 公開（公告）日: 2019-08-02
• 發明（設計）人: 雷建軍;宋宇欣;侯春萍;鄭凱夫;彭勃;牛力杰
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于形狀回歸的草圖圖像檢索方法，所述方法包括以下步驟：使用ImageNet圖像數據預訓練的VGG19網絡作為初始化網絡；使用Gb邊界提取方法，生成草圖近似；將Gb輪廓圖像和原始圖像同時送到初始化網絡中進行訓練，實現域遷移學習；在初始化網絡的分類softmax損失基礎上，增加形狀回歸損失作為網絡整體的損失函數，該損失函數的設計有助于挖掘圖像和形狀之間的潛在一致性；在圖像檢索的過程中，利用提取出來的草圖特征和圖像特征基于余弦距離進行匹配和排序。本發明通過引入形狀回歸損失，利用經過預訓練的卷積神經網絡，對草圖域和圖像域進行學習，實現基于形狀回歸的草圖圖像檢索。

技術領域

本發明涉及圖像檢索、計算機視覺技術領域，尤其涉及一種基于形狀回歸的草圖圖像檢索方法。

背景技術

隨著互聯網技術的飛速發展和多媒體設施的迅速普及，互聯網上數字圖像數量在飛速增長。如何對數字圖像進行高效的查找成為了當下迫切的需求。對圖像進行高效檢索在人們的日常生活中以及在醫學、公共安全及國防、電影工業、數字圖書館、遙感、農業等領域中發揮著重要作用。因此，圖像檢索技術受到了國內外學者的廣泛關注，成為了當下的研究熱點。圖像檢索最初的研究方向主要是基于文本的圖像檢索技術。基于文本的圖像檢索即使用文本方式對圖像的特征進行描述。隨著計算機計算能力的提升，基于內容的圖像描述方式逐漸普及。基于內容的圖像檢索通過對圖像內容的分布進行描述來獲取圖像特征，通過此特征進行檢索匹配。圖像中紋理、顏色、形狀等復雜性是圖像檢索技術的巨大挑戰之一。輸入圖像和輸出檢索結果之間的映射匹配關系的構建成為了圖像檢索的重點研究方向。

以圖搜圖的圖像檢索中，用戶需要找到一幅和檢索意圖非常相似的真實圖像，這對于普通用戶來說也是一個難以獲得的輸入。更加簡單的輸入模態，比如簡單線條組成的形狀，會是一個更加符合用戶檢索習慣的應用場景，對于檢索意圖的描述也更加清晰、簡單、直觀。因此，基于草圖的圖像檢索(Sketch-based Image Retrieval,SBIR)應運而生。近年來，平板電腦、智能手機等觸摸屏設備逐漸普及，使用這些觸摸屏設備，人們可以方便的對草圖進行繪制，這也為基于草圖的圖像檢索技術提供了廣闊的平臺和應用前景。

傳統的SBIR方法使用一些通用特征來描述草圖和圖像輪廓。許多經典的特征提取方式經過微調就可以應用于草圖圖像檢索任務中。Hu等人提出了基于梯度場的草圖特征描述符，然后將它們與詞袋模型相結合來進行檢索。他們還引入了一個名為Flickr15k的數據集來評估算法，現在這個數據集廣泛用于SBIR評估。Zhou等人首先檢測圖像顯著性區域，然后基于該區域的特征進行相似性匹配。上述方法都側重于為草圖和圖像輪廓提取相同的特征。然而為兩個域設計的公共特征可能不如為某個域設計單獨的特征更加具有可分辨性。

深層特征成功應用于諸如圖像識別等許多應用。最近在SBIR任務中深度學習方法也被成功應用。許多基于卷積神經網絡(Convolutional Neural Network，簡稱CNN)的SBIR框架被提出。Qi等人引入了孿生網絡來對草圖和圖像邊緣進行匹配。聯合網絡可以縮小屬于同一個類的實例特征之間的距離，并將屬于不同類的其他實例特征之間的距離拉遠。三重CNN使用正樣本和負樣本作為訓練數據來構建樣本之間的相似性關系。最近在SBIR上也采用了深度哈希的方法。Liu等人將深度網絡模型和哈希方法結合在一起，在訓練跨域相似性的同時顯著加快了SBIR的速度。

發明人在實現本發明的過程中，發現現有技術中至少存在以下缺點和不足：

首先，現有技術的算法沒有充分考慮圖像和輪廓之間的對應關系，其次，基于草圖的圖像檢索的關鍵信息是形狀信息，現有的算法只考慮了特征的區分性，即僅從特征相似性角度考慮草圖和圖像的關系，并沒有強調形狀信息，而形狀信息是草圖和圖像的內在一致性的體現。

發明內容

本發明提供了一種基于形狀回歸的草圖圖像檢索方法，本發明通過引入形狀回歸損失，利用經過預訓練的卷積神經網絡，對草圖域和圖像域進行學習，實現基于形狀回歸的草圖圖像檢索，詳見下文描述：