[發明專利]一種基于判別性提升的零樣本草圖檢索方法

在審

• 申請號: 202110407892.7
• 申請日: 2021-04-15
• 公開（公告）號: CN113032601A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 趙海峰;吳天健;張燕
• 申請（專利權）人: 金陵科技學院
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06K9/62
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 蔣昱

一種基于判別性提升的零樣本草圖檢索方法,提出教師?學生網絡體系結構，由一個使用預訓練模型的教師網絡和一個由教師網絡引導輸出的學生網絡組成。通過采用更強大的預訓練模型作為教師網絡，并增加基于預測概率的硬編碼距離來進一步增強教師網絡的判別性。然后，使用教師網絡的輸出作為學習目標，對學生網絡進行微調。經過訓練，得到性能更優的草圖網絡模型。檢索時，將待查詢的草圖和每一張候選圖像輸入到草圖網絡模型中，得到它們的特征向量。計算這些特征向量之間的歐幾里得距離，并以此度量草圖查詢和每個候選圖像之間的相似度。根據相似度大小，模型返回與待查詢的草圖最相似的圖像。本發明檢索準確率高，模型穩定性高，適用性強的優點。

技術領域

本發明基于草圖的圖像檢索領域，特別是涉及一種基于判別性提升的零樣本草圖檢索方法。

背景技術

基于草圖的圖像檢索（Sketch-Based Image Retrieval, SBIR）技術被廣泛用于許多實際應用中，例如動畫，電子商務和安全領域。它允許用戶使用徒手繪制的草圖來替代傳統的文本和圖像作為輸入來搜索感興趣的圖像。

給定待查詢的草圖，SBIR任務的目的是檢索目標數據集中具有與查詢草圖相似語義的圖像。為此，需要一個帶有標簽的草圖和圖像的訓練數據集，以便于模型學習草圖域和圖像域之間的語義關系。

一般來說，SBIR任務中的訓練數據集和目標數據集共享所有樣本類別。即，檢索到的圖像的類別已經出現在訓練集中。但是，在實際應用中，通常訓練集很難涵蓋所有的類別。當目標數據集中的類別不在訓練集中時，檢索就只能依靠送入訓練完成模型的單個草圖。這就是零樣本的SBIR（Zero Shot-SBIR, ZS-SBIR）任務。ZS-SBIR問題的一種解決方案是使用在大型數據集上預訓練的模型作為基礎網絡，然后對訓練數據集進行微調來學習草圖域和圖像域的公共特征空間。這樣，即通過將跨模態信息嵌入到公共特征空間來彌合域間隔。但是，在模型微調過程中，可能會丟失模型在預訓練過程中獲得的先驗知識，從而導致模型在目標數據集的性能退化。

近年來，隨著智能電話和Internet的不斷發展，SBIR已成為動畫，電子商務和安全性領域不可或缺的部分。但是，SBIR方法在現實世界中表現不佳。因此，本發明要解決的主要問題是在現實世界中穩定有效地檢索出與用戶繪制的草圖有關的圖像。

發明內容

為了解決上述問題，本發明使用了一種學生教師網絡架構，該架構由使用預訓練模型的教師網絡和一個由教師網絡指導輸出的學生網絡組成。本發明沒有在教師網絡中引入補充語義，而是采用功能更強大的預訓練模型作為教師網絡，并通過基于預測概率添加硬編碼距離的方式來進一步增強模型判別能力。然后，通過使用修改后的教師網絡的輸出作為學習目標來調整學生網絡。

本發明提供一種基于判別性提升的零樣本草圖檢索方法，具體步驟如下：

1）在兩個損失函數的引導下在訓練集上訓練模型；

具體步驟如下：

①特征嵌入；

分類系統通常由特征嵌入模塊和分類器模塊組成，在深度學習中，端到端方案將這兩個模塊集成到一個網絡中，對于特征嵌入模塊，采用基于ResNeXt的CSE-ResNeXt模型作為基礎網絡，CSE-ResNeXt模型通過添加表示數據來自哪個域的標志符，將來自不同域的數據置于一個框架下，使模型在訓練過程中更加關注將草圖和圖像嵌入到一個公共特征空間中，以彌合兩種數據模態之間的差距，借助CSE-ResNeXt模型，生成M維的源特征 ;

②Benchmark分類器，即損失函數1：

Benchmark分類器的目的是：在公共特征空間中，使同一類中的草圖和圖像特征相互靠近，從而對不同類別的草圖和圖像進行判別，這是一個分類問題，Benchmark分類器的損失定義為預測標簽和真實標簽之間的交叉熵；

其中N為訓練集中所以訓練樣本的數量，與是Benchmark分類器的權重與偏置項；

③判別性提升分類器，即損失函數2：