[發明專利]細粒度圖像零樣本識別方法

有效

• 申請號: 201910032246.X
• 申請日: 2019-01-14
• 公開（公告）號: CN111435453B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 張勇東;閔少波;謝洪濤;李巖
• 申請（專利權）人: 中國科學技術大學;北京中科研究院
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06K9/62;G06V10/774
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種細粒度圖像零樣本識別方法，其特征在于，包括：

構建語義分解與遷移網絡，利用獲取的源域數據集中的視覺圖像與對應的語義屬性，以及目標域數據集中包含的語義屬性來訓練所述的語義分解與遷移網絡，使其能將視覺圖像與其對應的語義表達做正確的配對；

在測試階段，利用訓練好的語義分解與遷移網絡對來源于任意域的視覺圖像進行識別，得到識別結果；

其中，所述語義分解與遷移網絡包括分解語義映射與遷移視覺映射，即分別將語義屬性與視覺圖像映射到嵌入空間，通過訓練使得對應的圖像表達和語義表達盡可能一致，不同的圖像表達和語義表達盡可能遠離；

其中，分解語義映射包括三個子映射函數：域不變的語義映射函數、源域特異的語義映射函數、以及目標域特異的語義映射函數，來同時捕捉源域和目標域語義信息共有的部分和私有的部分；

遷移視覺映射時，對于源域的視覺圖像空間進行全監督學習；對于目標域，在合成的目標域圖像空間進行標簽平滑學習。

2.根據權利要求1所述的一種細粒度圖像零樣本識別方法，其特征在于，語義分解與遷移網絡訓練階段的目標函數表示為：

其中，λ_i表示不同目標函數的權重，其中，i∈[1,5]；表示與源域數據集中視覺圖像與語義屬性相似度相關的目標函數；表示優化三個分解的子映射函數在兩個域映射的目標函數；表示將源域特異的語義映射函數遷移至目標域特異的語義映射函數時的目標函數；表示對源域的視覺圖像空間進行全監督學習的目標函數；表示在合成的目標域圖像空間進行標簽平滑學習的目標函數。

3.根據權利要求2所述的一種細粒度圖像零樣本識別方法，其特征在于，目標函數的表達式為：

其中，f、對應的表示視覺映射、分解語義映射，χ_s為源域的視覺圖像空間，a為視覺圖像x對應的語義屬性，語義屬性為一組向量，其編碼的內容為視覺圖像的屬性描述；d()計算了兩個輸入表達特征的相似度度量：

其中，||表達向量的模，＜＞表示向量的內積。

4.根據權利要求3所述的一種細粒度圖像零樣本識別方法，其特征在于，分解語義映射表示為：

其中，A_s、A_t對應的表示源域的語義屬性空間、目標域的語義屬性空間；對應的表示域不變的語義映射函數、源域特異的語義映射函數、目標域特異的語義映射函數；域不變的語義映射函數負責連接兩個域的語義映射函數，使分解語義映射能夠在兩個域之間做知識遷移，源域特異的語義映射函數與目標域特異的語義映射函數能夠捕捉到各自域語義空間的特異信息。

5.根據權利要求4所述的一種細粒度圖像零樣本識別方法，其特征在于，

使用無監督的方式來限制源域特異的語義映射函數與目標域特異的語義映射函數通過重建誤差來分別優化源域特異的語義映射函數與目標域特異的語義映射函數目標函數的表達式為：

其中，對應的表示對源域特異的語義映射函數目標域特異的語義映射函數所對應的解碼器。

6.根據權利要求4所述的一種細粒度圖像零樣本識別方法，其特征在于，目標函數的表達式為：

其中，對應的表示源域特異的語義映射函數目標域特異的語義映射函數的可學習參數。

7.根據權利要求4所述的一種細粒度圖像零樣本識別方法，其特征在于，采用交叉熵分類目標函數來限制提取的視覺特征具有區分性，該方式為全監督學習的分類約束，其目標函數的表達式為：

其中，源域數據集中還包括類別標簽集合Y_s，每一視覺圖像對應了一個類別標簽，p_y(f(x))為視覺圖像x對類別標簽y的打分。