[發明專利]一種基于自編碼器的零樣本圖像識別算法及系統

在審

• 申請號: 202010534066.4
• 申請日: 2020-06-12
• 公開（公告）號: CN111680757A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 汪金玲
• 申請（專利權）人: 汪金玲
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于自編碼器的零樣本圖像識別算法，其特征在于，所述方法包括：

使用預訓練的Arc-SENet網絡提取源域中已知類樣本的特征向量；

將所述多個已知類樣本的特征向量拼接為已知類樣本的特征矩陣，利用預設的自編碼器在源域中學習出源域的投影矩陣和解碼投影矩陣；

在目標域通過最小化自編碼器的目標函數，將未知樣本的屬性投影到特征空間；

將源域的自編碼器和目標域的編碼器關聯起來，得到結合源域和目標域的自編碼器目標函數；

通過對目標函數進行迭代計算，得到目標域中未知類樣本的屬性矩陣和特征矩陣；

根據所述目標域中未知類樣本的屬性矩陣和特征矩陣，分別利用正向標簽預測和反向標簽預測兩種方式對未知樣本進行標簽預測，若兩種方式得到標簽結果相同，則所得標簽即為圖像樣本識別結果，否則則將未知類樣本重新輸入自編碼進行樣本空間投影計算。

2.如權利要求1所述的基于自編碼器的零樣本圖像識別算法，其特征在于，所述Arc-SENet網絡的訓練過程為：

所述Arc-SENet網絡由多個SE模塊構成，網絡的第一個SE模塊接收源域中已知樣本類別的圖像，并對其進行卷積和Squeeze操作，以完成第一個SE模塊對圖像特征的提取，并將提取內容輸入至下一個模塊，最后一個模塊的輸出值即為源域中已知樣本類別圖像的特征向量，并使用本發明所提出的ArcLoss損失函數進行訓練；

1)SE模塊接收圖像樣本矩陣X，其中X＝[x¹，...，x^c]，并在卷積層進行卷積轉換操作，令V＝[v₁，...v_c]表示網絡學習到卷積核的集合，因此卷積層的輸出為U＝[u₁，...u_c]，所述第i個卷積核進行卷積操作的公式為：

其中：

*表示卷積操作；

是一個二維空間核，表示v_i中的一個通道信息，此通道信息作用于X對應的通道信息上；

X為SE模塊的輸入值；

2)通過H×W的空間維度對卷積的輸出U進行壓縮，將維度為H×W×C的卷積輸出U轉換為1×1×C的輸出，以將多個空間維度的特征圖進行聚合，從而產生一個通道描述器z，并將所述通道描述器z作為提取的圖像樣本特征向量，并輸出到下一個SE模塊中。其中，圖像樣本特征向量z中每一個元素c的計算公式如下：

其中：

u_c為第c個卷積核進行卷積操作的輸出值；

H、W為卷積輸出U的維度；

3)計算各特征向量之間歸一化的互信息，本發明所提出的歸一化互信息的計算公式為：

其中：

p(c_g，f_ei)為特征向量f_ei出現的頻次與類別c_g中包含所有特征向量出現總頻次的比值；

p(f_ei)為特征向量f_ei出現的頻率；

p(c_g)為類別c_g所包含特征的數量與總特征數量的比值；

4)計算各特征向量的特征貢獻因子

其中：

t(f_ei，c_g)為類別c_g中特征f_ei出現的頻次；

5)利用基于歸一化互信息的特征選擇目標函數，對上述所提取出的特征向量進行計算，選取目標函數值最大的k個特征向量f_ei作為本發明所選擇的特征向量，所述基于歸一化互信息的特征選擇目標函數為：

其中：

N為樣本數量；

C為樣本類別集合；

S為特征向量集合；

6)利用本發明所提出的Arc損失函數進行模型訓練，所述Arc損失函數的計算公式為：

約束條件為：

其中：

m為訓練圖像樣本的個數；

x_i為第i個圖像中所提取的特征向量；

y_i為第i個圖像的已知類別；

W_j為第j類別的權重；

θ_j為權重W_j和特征向量x_i之間的夾角；

s為特征歸一化時的縮放參數。