[發明專利]一種標記與語義自編碼融合的零樣本圖像分類方法

在審

• 申請號: 202010501150.6
• 申請日: 2020-06-04
• 公開（公告）號: CN111914872A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 藺廣逢;范引娣;繆亞林;陳萬軍;張二虎
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 韓玙

1.一種標記與語義自編碼融合的零樣本圖像分類方法，其特征在于，具體按照以下步驟實施：

步驟1、圖像到語義的自編碼映射求解，獲得圖像到語義的映射矩陣；

步驟2、圖像到標記的自編碼映射求解，獲得圖像到標記的映射矩陣；

步驟3、根據圖像到語義的映射矩陣、圖像到標記的映射矩陣求解圖像標記融合系數；

步驟4、根據圖像標記融合系數對零樣本圖像標記估計，根據估計結果進行分類標記。

2.根據權利要求1所述一種標記與語義自編碼融合的零樣本圖像分類方法，其特征在于，步驟1具體過程為：

步驟1.1、取n個圖像樣本，對n個圖像樣本提取可見類別的圖像特征矩陣和可見類別的語義嵌入特征矩陣

步驟1.2、根據單層的線性自編碼器原理可得：

其中，d₁為圖像特征維度，d₂為語義嵌入特征維度，λ₁為折中參數取為1，為圖像到語義的映射矩陣；

步驟1.3、根據式(1)進而可得：

BA₁+A₁C＝D (2)

其中，B＝SS^T，C＝λ₁XX^T，D＝(1+λ₁)SX^T,通過matlab中的函數sylvester優化求解圖像到語義的映射矩陣A₁。

3.根據權利要求2所述一種標記與語義自編碼融合的零樣本圖像分類方法，其特征在于，步驟2具體過程為：

步驟2.1、對n個圖像樣本提取可見類別的標記矩陣

步驟2.2、根據單層的線性自編碼器原理可得：

其中，d₃為標記維度，λ₂為折中參數取10，為圖像到標記的映射矩陣；

步驟2.3、根據式(3)進而可得：

EA₂+A₂F＝G (4)

其中，E＝YY^T,F＝λ₂XX^T,G＝(1+λ₂)YX^T,通過matlab中的函數sylvester優化求解圖像到標記的映射矩陣A₂。

4.根據權利要求3所述一種標記與語義自編碼融合的零樣本圖像分類方法，其特征在于，步驟3具體過程為：

步驟3.1、根據最小平方誤差原理進行圖像標記融合，可得：

其中，β₁+β₂＝1,β₁＞0,β₂＞0，β＝[β₁β₂]為圖像標記融合系數，是計算矩陣和矩陣各列向量成對相似度量形成矩陣，成對相似度量通過余弦距離計算，d₃為可見類別數目，W_s為可見類別成對語義特征相似矩陣，成對語義特征相似通過余弦距離計算；

步驟3.2、根據式(5)可得：

其中，通過多元線性回歸求解圖像標記融合系數β＝[β₁ β₂]。

5.根據權利要求4所述一種標記與語義自編碼融合的零樣本圖像分類方法，其特征在于，步驟4具體過程為：

根據語義特征映射與標記映射遷移融合原理得零樣本圖像標記估計:

其中，為預測的標記矩陣表示著未可見類別的標記結構；為未可見類別的圖像特征矩陣，m為未可見樣本的數目；是計算矩陣和矩陣各列向量成對相似度量形成矩陣，d₄為未可見類別數目；W_u為可見類別成對語義特征相似矩陣；W_su為可見類別和未可見類別成對語義特征相似矩陣；

取為中任一元素，估計未可見類的樣本的分類標記為：

其中，m為未可見樣本的數目。