[發明專利]一種基于語義屬性注意力重分配機制的零樣本學習方法及系統

有效

• 申請號: 201910335801.6
• 申請日: 2019-04-24
• 公開（公告）號: CN110163258B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉洋;蔡登
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于語義屬性注意力重分配機制的零樣本學習方法，其特征在于，包括：

(1)建立基于語義屬性注意力重分配機制的神經網絡模型，所述神經網絡模型包含視覺-語義屬性空間映射分支、視覺-隱層空間映射分支和注意力分支，使圖像在進行網絡的前向推導時，分別得到圖像在語義屬性空間的語義特征、在隱層空間的隱層特征以及在語義屬性空間的注意力；

(2)使用語義屬性空間的注意力重新分配語義特征之間的權重；計算公式為：

其中，diag(p_i)是一個k×k的對角矩陣，對角線上的值為p_i，表示圖像i在語義空間的向量表示；

(3)使用帶有標簽的圖像數據集訓練神經網絡模型；具體過程為：

(3-1)數據準備過程中，將原訓練數據集D預先劃分為多個三元組組成的集合

其中，對于任一三元組和是來自同一類的不同圖像，則是來自與圖像不同的類的圖像；

(3-2)訓練過程中，對于每一個三元組神經網絡模型使用混合的損失函數L來訓練神經網絡，具體的損失函數L的計算公式為：

其中，L_F是定義在隱層空間的損失函數，L_A是定義在語義屬性空間的損失函數；

隱層空間損失函數使用三元組損失函數來同時最大化類間距離，最小化類內距離；隱層損失函數的具體計算公式為：

語義屬性空間的損失函數使用基于交叉熵損失函數來最大化在語義空間分類的概率；語義損失函數的具體計算公式為：

其中，Y是所有訓練類的集合，是已知的類y_i的語義屬性原型；

(4)輸入待測試圖像，計算圖像加權后的語義特征與各未知類的語義原型的相似度，計算隱層特征與未知類的隱層特征原型的相似度，將兩種相似度相加得到測試圖像與各未知類的相似度；

(5)根據與各類之間的相似度進行排序，選取最大相似度的類作為該圖像的類預測。

2.根據權利要求1所述的基于語義屬性注意力重分配機制的零樣本學習方法，其特征在于，步驟(1)中，所述視覺-語義空間映射分支和視覺-隱層空間映射分支使用VGG19骨架網絡結構作為共享的淺層網絡，分別使用不同的全連接層作不同空間的特征映射；

所述注意力分支對VGG19骨架網絡中不同層的特征圖使用不同參數的卷積核大小為3的單層卷積神經網絡作特征提取，并使用特征融合的方法計算不同層的VGG19特征圖對應的語義屬性空間的注意力。

3.根據權利要求1所述的基于語義屬性注意力重分配機制的零樣本學習方法，其特征在于，步驟(1)中，得到圖像在語義屬性空間的語義特征、在隱層空間的隱層特征以及在語義屬性空間的注意力的具體過程如下：

使用預訓練的深度卷積神經網絡提取圖像輸入x_i的深層視覺特征θ_i，使用全連接神經網絡分別將圖像的深層視覺特征映射到語義空間和隱層空間，所述語義空間和隱層空間的計算公式為：

σ_i＝FC₂(θ_i)

其中，表示圖像i在語義空間的向量表示，σ_i表示圖像i在隱層空間的向量表示，FC₁表示從視覺空間映射到語義空間的映射函數，FC₂表示從視覺空間映射到隱層空間的映射函數；

選取深度卷積神經網絡中的第l層的關于圖像i的中間特征圖表示和隱層空間向量σ_i，圖像i在視覺深度為l的語義屬性注意力的計算公式為：

其中，W_l和b_l是單層全連接網絡的參數，是隱層向量表示和深度為l時的視覺特征融合表示，所述特征融合表示的計算公式為：

其中，F_sq是矩陣的變換函數，將C×H×W大小的三維矩陣表示轉換為C×HW的二維矩陣表示，表示矩陣按通道進行求和，是特征圖經過一系列卷積的結果，k表示特征融合后的通道數，與語義向量表示和隱層向量表示的長度保持一致；最后選擇對不同層數l∈l_B的進行求和，圖像i在語義屬性空間的注意力的計算公式為:

其中，p_i,l為圖像i在視覺深度為l的語義屬性注意力。