[發明專利]一種基于屬性引導對抗哈希網絡的零樣本圖像檢索方法

有效

• 申請號: 202011140166.5
• 申請日: 2020-10-22
• 公開（公告）號: CN112364195B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 冀中;陳珂鑫
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 潘俊達

1.一種基于屬性引導對抗哈希網絡的零樣本圖像檢索方法，其特征在于，包括以下步驟：

S1、向ResNet-101模型輸入圖像，向Word2Vec模型輸入所述圖像的類別標簽的文本，提取所述圖像的高維特征向量f_img和所述文本的高維特征向量f_txt；

S2、將所述f_img輸入到一個三層全連接神經網絡V2A-Net，將所述f_txt輸入到一個三層全連接神經網絡T2A-Net，以二值化屬性向量作為監督訓練所述V2A-Net和所述T2A-Net的網絡參數，監督訓練所述V2A-Net包括計算所述V2A-Net的損失函數L_V2A，監督訓練所述T2A-Net包括計算所述T2A-Net的損失函數L_T2A，所述L_V2A的計算過程包括：P＝softmax(W_V2Af_img)，L_V2A＝-log(P(a))，所述L_T2A的計算過程包括：P＝softmax(W_T2Af_txt)，L_T2A＝-log(P(b))，其中，W_V2A表示圖像通道的參數，W_T2A表示文本通道的參數，softmax為分類函數，P表示輸出是各個屬性的概率，P(a)表示所述V2A-Net正確預測圖像屬性的概率，P(b)表示所述T2A-Net正確預測文本屬性的概率；

S3、把所述V2A-Net輸出的圖像特征f_V2A和所述T2A-Net輸出的文本特征f_T2A共同輸入到一個由兩層神經網絡構成的判別器D，以輸入的圖像特征的標簽為1，以輸入的文本特征的標簽為0，對抗訓練并調節所述V2A-Net和所述T2A-Net的網絡參數，并且，計算所述判別器D的交叉熵損失函數L_advD，所述L_advD的計算過程包括：

L_advD＝-E_fimg～fimg[logD(V2A(f_img))]-E_ftxt～ftxt[log(1-D(T2A(f_txt)))]，其中，V2A(f_img)表示所述V2A-Net輸出的圖像特征，T2A(f_txt)表示所述T2A-Net輸出的文本特征，D(V2A(f_img))表示所述判別器D輸出的圖像模態的概率，D(T2A(f_txt))表示所述判別器D輸出的文本模態的概率，E_fimg～fimg[logD(V2A(f_img))]表示訓練圖像樣本的期望，E_ftxt～ftxt[log(1-D(T2A(f_txt)))]表示訓練文本樣本的期望，

并且，計算圖像通道和文本通道的交叉熵損失函數L_advM，所述L_advM的計算過程包括：

L_advM＝-E_fimg～fimg[log(1-D(V2A(f_img)))]-E_ftxt～ftxt[logD(T2A(f_txt))]，其中，E_fimg～fimg[log(1-D(V2A(f_img)))]表示訓練圖像樣本的期望，E_ftxt～ftxt[logD(T2A(f_txt))]表示訓練文本樣本的期望；

S4、經過所述S3的對抗訓練后，把所述V2A-Net輸出的圖像特征f_V2A和所述T2A-Net輸出的文本特征f_T2A輸入到一個三層全連接哈希碼生成網絡A2H-Net從而產生所述圖像對應的哈希碼和所述文本對應的哈希碼。