[發明專利]一種基于屬性引導對抗哈希網絡的零樣本圖像檢索方法

有效

• 申請號: 202011140166.5
• 申請日: 2020-10-22
• 公開（公告）號: CN112364195B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 冀中;陳珂鑫
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 潘俊達

本發明屬于圖像處理的技術領域，具體涉及一種基于屬性引導對抗哈希網絡的零樣本圖像檢索方法，包括將圖像的高維特征向量輸入到一個三層全連接神經網絡V2A?Net，將文本的高維特征向量輸入到一個三層全連接神經網絡T2A?Net，把V2A?Net輸出的圖像特征和T2A?Net輸出的文本特征輸入到判別器D，把V2A?Net輸出的圖像特征f_V2A和T2A?Net輸出的文本特征f_T2A輸入到一個三層全連接哈希碼生成網絡A2H?Net，從而產生圖像對應的哈希碼和文本對應的哈希碼。本發明的檢索方法能夠顯著提高零樣本條件下以標簽檢索圖像的準確率，并極大地提高了檢索效率，從而實現了圖像的快速檢索。

技術領域

本發明屬于圖像處理的技術領域，具體涉及一種基于屬性引導對抗哈希網絡的零樣本圖像檢索方法。

背景技術

圖像識別和處理是人工智能領域研究的基本課題之一，對AI方面的學術發展和工業生產都有重要意義，其基本思想是利用算法讓計算機能夠像人類一樣“看到”圖像，并能夠識別其類別，從而賦予計算機視覺識別的能力。

隨著大數據時代的到來和深度學習卷積神經網絡的飛速發展，對于特定的任務，只要能夠獲得每一個類別足夠多的圖像，將其輸入到深度神經網絡學習得到網絡的最優參數矩陣，就能夠在測試數據集上輕松地達到很高的識別準確率。

然而，在現實生活中，海量數據往往不是輕易就能夠獲得的，并且，人工標注的成本也相當高，因此，為了解決上述問題，對零樣本學習技術的研究具有非常實際的應用意義。零樣本學習與傳統模式識別技術不同之處在于訓練樣本和測試樣本的類別互不相交，也就是說，測試階段的數據屬于未見類，但是參與訓練的已知類別與測試階段的未見類別之間能夠共享一定維度的屬性語義信息，所以，如何利用這些屬性語義信息把在已知類別的數據下學習到的模型有效地遷移到未見類別，是零樣本學習研究的重點，這也是本發明著力解決的問題之一。并且，現有的圖像檢索方法的準確率低，檢索效率低，不能滿足高效檢索的需求。

為此，亟需提出一種新型的圖像檢索方法以解決上述問題。

發明內容

本發明的目的在于：針對現有技術的不足，提供一種基于屬性引導對抗哈希網絡的零樣本圖像檢索方法，能夠顯著提高零樣本條件下以標簽檢索圖像的準確率，并極大地提高了檢索效率，從而實現了圖像的快速檢索。

為了實現上述目的，本發明采用如下技術方案：

一種基于屬性引導對抗哈希網絡的零樣本圖像檢索方法，包括以下步驟：

S1、向ResNet-101模型輸入圖像，向Word2Vec模型輸入所述圖像的類別標簽的文本，提取所述圖像的高維特征向量f_img和所述文本的高維特征向量f_txt；

S2、將所述f_img輸入到一個三層全連接神經網絡V2A-Net，將所述f_txt輸入到一個三層全連接神經網絡T2A-Net，以二值化屬性向量作為監督訓練所述V2A-Net和所述T2A-Net的網絡參數；

S3、把所述V2A-Net輸出的圖像特征f_V2A和所述T2A-Net輸出的文本特征f_T2A共同輸入到一個由兩層神經網絡構成的判別器D，以輸入的圖像特征的標簽為1，以輸入的文本特征的標簽為0，對抗訓練并調節所述V2A-Net和所述T2A-Net的網絡參數；

S4、經過所述S3的對抗訓練后，把所述V2A-Net輸出的圖像特征f_V2A和所述T2A-Net輸出的文本特征f_T2A輸入到一個三層全連接哈希碼生成網絡A2H-Net從而產生所述圖像對應的哈希碼和所述文本對應的哈希碼。

進一步地，所述S2中的監督訓練所述V2A-Net還包括計算所述V2A-Net的損失函數L_V2A，其計算過程包括