[發(fā)明專利]一種基于預定義空間的跨類別細粒度手繪檢索方法

在審

• 申請?zhí)枺?/td>: 201910915063.2
• 申請日: 2019-09-26
• 公開（公告）號: CN112052348A
• 公開（公告）日: 2020-12-08
• 發(fā)明（設計）人: 李宗民;李亞傳;王文超;李思遠;劉玉杰;李冠林
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06T7/13
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于預定義空間的跨類別手繪檢索方法，屬于計算機視覺領域中的圖像檢索方向，主要解決傳統(tǒng)檢索方法在未訓練的類別上檢索效果急劇下降的問題。算法主要包括：將手繪圖片和自然圖片配對，并縮放裁剪形成訓練圖片，訓練圖片的集合構成訓練樣本；設計基于預定義空間的孿生網絡，其中包含自定義的預定義空間單位球；確立相似性損失、編解碼重構損失的權重因子；將網絡進行樣本對的訓練；得到訓練完的模型，用該模型提取測試手繪圖片的特征圖。這種端到端的圖像檢索方法，在未訓練的類別上測試效果明顯優(yōu)于現(xiàn)有算法。

技術領域

本發(fā)明屬于計算機視覺領域，是圖像處理領域中的一項重要應用，尤其是涉及一種基于預定義空間的跨類別細粒度手繪檢索方法。

技術背景

跨類別細粒度手繪檢索的目的是給一張手繪圖片，通過算法感知圖片中要檢索的內容，并在要檢索的范圍中檢索到與之最匹配的一張圖片，不僅類別相同，而且前景物的拍攝角度，姿態(tài)等都相似；跨類別是指在測試時，選擇的類別可以與訓練時不相同。

隨著科學技術的進步，觸摸屏設備越來越普及，使得獲取手繪越來越方便，為手繪檢索提供了良好的前提條件。手繪檢索結合了圖片檢索和文字檢索的優(yōu)勢，使圖片檢索更直觀更方便。

目前主流的細粒度手繪檢索在精度和速度方面已經有了不錯的效果，然而當檢索對象超出了訓練類別時，檢索效果急劇下降，這與日益發(fā)展的需求之間有巨大的矛盾。因此，亟需一種能夠跨類別的細粒度手繪檢索方法。

我們提出的基于預定義空間的跨類別細粒度手繪檢索方法在跨類別的檢索中效果優(yōu)于傳統(tǒng)的檢索網絡，也不需要額外的語義輔助信息，有力地推動手繪檢索的進一步發(fā)展。

發(fā)明內容

本發(fā)明提出了一種基于預定義空間的跨類別細粒度手繪檢索方法。該方法以深度卷積神經網絡為基礎，結合了無監(jiān)督中的聚類算法、高斯分布、孿生網絡等技術，較為準確的進行跨類別手繪檢索，該方法可以在不同場景下有效的進行工作。

其技術解決方案是：

一種基于預定義空間的跨類別細粒度手繪檢索方法，所述方法包括：

步驟1)，將手繪圖片和自然圖片配對，并縮放裁剪形成訓練圖片，訓練圖片的集合構成訓練樣本；

步驟2)，設計基于預定義空間的孿生網絡，其中包含自定義的空間單位球；

步驟3)，確立相似性損失、編解碼重構損失的權重因子；

步驟4)，將網絡進行樣本對的訓練；

步驟5)，得到訓練完的模型，用該模型提取測試手繪圖片的特征圖；

所述步驟1)中對于手繪圖和自然圖有多種匹配選擇，在訓練過程中使用輪換算法，防止過擬合。使用插值的方法實現(xiàn)圖片的縮放，從而保持圖片中前景物不發(fā)生形變失真；利用candy邊緣檢測算法，提取無與之匹配的自然圖的邊緣圖來與該自然圖配對。

所述步驟2)中根據(jù)數(shù)據(jù)集大小來定義預定義空間特征球的維度，在檢索速度與檢索精度之間找一個平衡點；使用在高斯分布上隨機采樣的方法在預定義空間特征球面空間預定義噪音點的位置。

所述步驟3)中確定損失函數(shù)的權重因子，主要需要特征圖的區(qū)分性特征，因此編解碼重構損失的權重因子可以相對減小。

所述步驟4)中中使用權重衰減算法，將訓練數(shù)據(jù)從圖片-邊緣圖逐步替換成圖片-手繪；訓練方式是經典的深度學習訓練方法。

所述整個方法中網絡在訓練以及測試過程中都是端到端實現(xiàn)的。經過大規(guī)模的數(shù)據(jù)訓練以后，能夠適應多種場景，在多個數(shù)據(jù)集的跨類別檢索，都有不俗的表現(xiàn)

本發(fā)明在傳統(tǒng)的孿生檢索網絡中結合非監(jiān)督學習的預定義空間網絡，在基本不增加訓練成本的情況下大大提升跨類別檢索的效果，使用價值高，可擴展性強