[發明專利]一種利用全量數據訓練零樣本圖像分類方法

有效

• 申請號: 201911099506.1
• 申請日: 2019-11-12
• 公開（公告）號: CN110826639B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 廖祥文;肖永強;丘永旺;徐戈;陳開志
• 申請（專利權）人: 福州大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種利用全量數據訓練零樣本圖像分類方法，提供一分類模型，包括視覺特征網絡、屬性語義轉換網絡、視覺-屬性語義銜接網絡和得分網絡，其特征在于，具體包括以下步驟：

步驟S1:將全量數據分為源數據和目標數據；

步驟S2:將源數據集和目標數據集輸入視覺特征網絡，將原始圖像映射到視覺特征空間,得到圖像視覺特征向量；

步驟S3:將原始圖像的低維屬性語義通過屬性語義轉換網絡映射到高維，得到語義特征向量；

所述步驟S3具體為：

步驟S31:一路對源數據見過的類別數N^s的屬性語義特征映射到高維，另外一路對目標數據已見過的和未見過的總類別數N^s+t的屬性語義特征映射到高維；

步驟S32:確定要輸入訓練的類別屬性特征N×f₂后將其送入屬性語義轉換網絡，特征映射到N×f₂'，再使用重復產生和圖像視覺特征向量一樣的批大小b，即張量維度變為b×N×f₂',其中f₂表示特征維度；

步驟S33:通過特征拼接操作完全拼接輸出張量維度為b×N×2f的圖像視覺特征向量；

步驟S4:根據得到的圖像視覺特征向量和語義特征向量，利用視覺-屬性語義銜接網絡完成融合，得到拼接結果；

步驟S5:根據拼接結果，通過得分網絡在語義空間中產生原始圖像每一類的得分，并根據得分輸出最終的預測結果；

所述屬性語義轉換網絡用于產生所有類別的屬性特征表征；所述視覺-屬性語義銜接網絡采用完全拼接方式，將有標簽數據中每一種圖像類別視覺特征與所有有標簽數據類別的屬性語義特征拼接，將無標簽數據中每一種圖像類別視覺特征與所有無標簽數據類別的屬性語義特征拼接；

所述得分網絡的得分函數表示如下：

F(x,y；W)＝F((x；W_α),Φ(y,W_β)；W)

其中，W_α和W_β分別是視覺特征網絡的權重和屬性語義轉換網絡的權重，W是視覺-屬性語義銜接網絡的權重。

2.根據權利要求1所述的一種利用全量數據訓練零樣本圖像分類方法，其特征在于：所述源數據是有標簽的，目標數據沒有標簽。

3.根據權利要求1所述的一種利用全量數據訓練零樣本圖像分類方法，其特征在于：所述視覺特征網絡采用ResNet101。

4.一種實現權利要求1-3任一所述利用全量數據訓練零樣本圖像分類方法的模型，其特征在于：包括視覺特征網絡、屬性語義轉換網絡、視覺-屬性語義銜接網絡和得分網絡；所述視覺-屬性語義銜接網絡融合視覺特征網絡和屬性語義轉換網絡的輸出數據，并將融合結果傳送至得分網絡，進一步得到分類結果。

5.根據權利要求4所述的一種利用全量數據訓練零樣本圖像分類方法的模型，其特征在于：采用如下損失函數來訓練模型：

其中，L_a為分類損失，||W||²為正則化項損失，λ₁、λ₂和λ₃為用于平衡不同損失之間的權重；

L_b為增加的損失項，具體公式如下：

其中，p_i表示預測為類i的概率L_c為增加的損失項L_c，具體公式如下：

兩項損失分別為模型預測已見過的類別和未見過的類別。