[發明專利]融合三元組損失和生成對抗網絡的多標簽圖像檢索方法

有效

• 申請號: 201910605728.X
• 申請日: 2019-07-05
• 公開（公告）號: CN110321957B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 馮永;黃嘉琪;強保華;尚家興;劉大江
• 申請（專利權）人: 重慶大學;桂林電子科技大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08;G06F16/58
• 代理公司: 重慶樂泰知識產權代理事務所(普通合伙) 50221
• 代理人: 劉佳

本發明提供了一種融合三元組損失和生成對抗網絡的多標簽圖像檢索方法，其包括步驟：搭建深度學習框架，部署生成對抗網絡模型；輸入圖像數據集至生成對抗網絡模型中以獲取多標簽圖像和三元組數據；基于多標簽圖像構建三元組損失函數；從圖像數據集中選取第一圖像對深度哈希編碼網絡進行訓練以獲取完成訓練的深度哈希編碼網絡；從圖像數據集中選取預設數量的第二圖像，將第二圖像輸入完成訓練的深度哈希編碼網絡以獲取哈希向量數據庫；將需要檢索的第一圖像輸入完成訓練的深度哈希編碼網絡以檢索出與第一圖像相似的第二圖像。本發明通過使用生成對抗網絡生成與數據集樣本相似的多標簽生成圖片，擴充了訓練數據量，提高了圖像的檢索速度和精度。

技術領域

本發明涉及圖像檢索領域，尤其涉及一種融合三元組損失和生成對抗網絡的多標簽圖像檢索方法。

背景技術

隨著互聯網上圖像和視頻數據的爆炸式增長，大規模的圖像檢索任務近年來受到越來越多的關注。圖像檢索系統的主要任務是既要保證檢索結果中的圖像質量，也要保證檢索的效率，同時還需要解決如何將海量信息進行高效儲存，從而讓用戶擁有更好的體驗。

有效地表示圖像是大規模圖像檢索的一項重要任務。由于二進制哈希碼的計算效率和存儲效率，二進制哈希得到了廣泛的關注。它的目標是將高維圖像數據映射到同一個漢明空間中同時保持一定的相似性概念。使用二進制哈希碼來對圖像進行表示不僅便于計算機使用位運算來快速比較圖像特征，從而高效的得出檢索結果，同時也減少了計算機存儲空間占用。近年來隨著深度學習模型的興起，利用深度哈希網絡的哈希方法在圖像檢索中具有更好的效果。

由于圖像數據具有較高復雜性，在進行檢索任務時往往會遇上大量的多標簽圖像數據，如一張人抱著狗的圖像，其標簽信息不僅有“人”，還有“狗”這一標簽。這無疑增加檢索難度。傳統的多標簽圖像檢索方法一般基于有監督信息的哈希方法，使用數據集中的訓練圖像對模型進行訓練，在訓練過程中引入三元組損失來訓練模型，每一組三元組包含一個基準圖像、一個正例圖像和一個反例圖像，其中正例圖像比反例圖像更類似于基準圖像，通過不斷訓練使得基準圖像與正例圖像在漢明空間中距離更近，與反例圖像距離更遠，以此來學習到圖像之間的相似度關系。但是這一方法依賴于對數據集中能構成三元組數據的數量。首先，以數據集中所有數據構成三元組來進行訓練是不可行的，過于特殊化的三元組數據反而會影響模型訓練結果；其次，如何選擇有益與模型訓練的三元組數據也是這一方法的難點；最后，對于有監督學習方法而言，由于缺乏相似度信息，帶有足夠相似度標記信息的圖像數據收集成本往往很高，所以傳統方法使用大小有限的多標簽圖像數據集進行訓練，這可能會與訓練數據過度匹配，導致檢索質量的大幅下降。

現有的使用生成對抗網絡網絡方法可以生成近似與真實圖片的生成圖片來達到擴充訓練樣本的目的，但僅限于生成只有一個標簽的簡單圖片，而沒有生成近似于真實的多標簽圖片，所以在基于三元組損失的多標簽圖像檢索中缺乏足夠的訓練數據。

發明內容

本發明針對現有方式的缺點，提出一種融合三元組損失和生成對抗網絡的多標簽圖像檢索方法，用以解決現有技術存在的上述問題。

根據本發明的一個方面，提供了一種融合三元組損失和生成對抗網絡的多標簽圖像檢索方法，包括如下步驟：

搭建深度學習框架，部署生成對抗網絡模型，所述生成對抗網絡模型包括深度哈希編碼網絡；

輸入圖像數據集至所述生成對抗網絡模型中以獲取與所述圖像數據集相似的多標簽圖像，及獲取由所述多標簽圖像與圖像數據集結合組成的三元組數據；

基于所述多標簽圖像構建三元組損失函數；

從圖像數據集中選取預設數量的第一圖像對所述深度哈希編碼網絡進行訓練以獲取完成訓練的深度哈希編碼網絡；

從圖像數據集中選取預設數量的第二圖像，將所述第二圖像輸入完成訓練的深度哈希編碼網絡以獲取哈希向量數據庫；