[發明專利]基于多層語義監督式注意力模型的細粒度零樣本分類方法

在審

• 申請號: 201811115665.1
• 申請日: 2018-09-25
• 公開（公告）號: CN109447115A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 冀中;于雪潔
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 杜文茹

1.一種基于多層語義監督式注意力模型的細粒度零樣本分類方法，其特征在于，首先，利用卷積神經網絡提取在細粒度圖像中所選定部位的局部視覺特征，利用類別的文本描述信息作為類別語義特征對所述細粒度圖像的局部視覺特征的分類進行監督，為細粒度圖像的局部視覺特征逐步賦予權重，得到語義監督注意力模型，其中，與語義信息相關性越高的局部視覺特征，對應的權重就越大；用類別語義特征引導映射到隱空間局部視覺特征，得到多層語義監督注意力模型的損失函數；將細粒度圖像的全局視覺特征與經過多層語義監督注意力模型賦予權重后的局部視覺特征結合，作為圖像的新的視覺特征；最后將類別語義特征嵌入到新的視覺特征空間，將多層語義監督注意力網絡輸出的視覺特征與語義特征進行對齊，利用softmax函數進行分類，得到圖像分類。

2.根據權利要求1所述的基于多層語義監督式注意力模型的細粒度零樣本分類方法，其特征在于，具體包括如下步驟：

1)獲取來自細粒度圖像的n個可見類別的N張圖像的局部視覺特征V_I，類別語義特征向量s以及真實標簽矩陣Y；

2)利用公式f(V_I)＝h(W_I,AV_I)將局部視覺特征V_I映射到隱空間；

式中：代表圖像的局部視覺特征，其中p為局部視覺特征的維度，m為局部視覺特征的個數，v_i為對應的第i個區域的局部視覺特征向量；h為非線性函數；W_I,A∈R^d×p為從局部視覺特征空間到隱空間的映射矩陣，d為隱空間的維度；

3)將局部視覺特征V_I壓縮為視覺特征向量v_G，利用公式g(v_G)＝h(W_G,Ah(W_G,Sv_G))將視覺特征向量v_G映射到隱空間；

式中：W_G,A∈R^d×q為語義空間到隱空間的映射矩陣；W_G,S∈R^q×p為從視覺特征空間到語義空間的映射矩陣，q為語義空間的維度；

4)利用公式將f(V_I)和g(v_G)進行特征融合，得到融合后的特征向量h_A；

5)利用公式p_I＝softmax(W_ph_A+b_p)計算出圖像每個局部區域的注意力權重

式中：W_p∈R^d為softmax函數的權重向量；b_p為常數偏置項；p_i為每個局部視覺特征對應的注意力權重；

6)利用公式u_i＝v_i+p_iv_i計算出單層語義監督注意力網絡輸出的視覺特征向量u_i，進而得到m個視覺區域的局部特征的集合以及單層語義監督注意力網絡輸出的壓縮后的視覺特征向量u_G；

7)將局部特征的集合U_I和壓縮后的視覺特征向量u_G分別代替圖像的局部視覺特征V_I和視覺特征向量v_G，重復步驟2)～步驟6)得到多層語義監督注意力網絡輸出的視覺特征向量u_i″；

8)為實現以語義信息為監督，引導注意力模型對細粒度圖像的局部視覺特征進行選擇，將語義信息嵌入到兩層注意力網絡中，分別得到損失函數Loss1和Loss2：

Loss1＝||h(W_G,Sv_G)-s||₂

Loss2＝||h(W_G,Su_G)-s||₂；

9)將每張圖像m個區域的多層語義監督注意力網絡輸出的視覺特征向量u_i″依次串聯起來得到圖像的全局視覺特征向量u_G′，進而得到N張可見類別圖像經過多層語義監督注意力網絡后輸出的全局視覺特征向量的集合U_G＝{u_G′}；

10)利用公式v_s＝h(W_Es+b_E)將類別語義特征向量s嵌入到視覺特征空間得到v_s，進而得到n個可見類別的語義特征向量嵌入到視覺特征空間的集合V_s＝{v_s}；

式中：W_E∈R^l×q為嵌入矩陣，b_E∈R^l為嵌入偏置，其中l＝m×p，為全局特征向量的長度；

11)使視覺特征和語義特征在視覺特征空間進行對齊，得到損失函數Loss3：

Loss3＝||v_s-u_G′||₂

12)利用公式P_c＝softmax(U_GV_s^T)計算每張可見類別圖像屬于每個可見類別的預測概率P_c；

13)利用公式得到分類損失函數Loss_c；

14)整個網絡的損失函數為：

min Loss＝Loss1+Loss2+Loss3+Loss_c

在訓練過程中通過多次迭代，使網絡的損失函數不斷下降，最終達到收斂，訓練完成。

15)在測試階段，輸入來自t個未見類別的測試圖像的局部視覺特征V_U，未見類別的測試圖像的視覺特征向量v_T，得到多層語義監督注意力網絡輸出的視覺特征向量u_t；將未見類別的類別語義特征S_T利用視覺語義對齊網絡嵌入到視覺特征空間得到語義嵌入特征V_T；根據下式計算多層語義監督注意力網絡輸出的視覺特征向量u_t與語義嵌入特征V_T的距離D，距離最小的類別即為測試圖像的預測類別：