[發明專利]一種基于多分類器的零樣本深海生物圖片分類方法

有效

• 申請號: 201910836905.5
• 申請日: 2019-09-05
• 公開（公告）號: CN110717513B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 周智恒;牛暢;尚俊媛;黃俊楚;張鵬宇
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 蔣劍明

1.一種基于多分類器的零樣本深海生物圖片分類方法，其特征在于，所述的零樣本深海生物圖片分類方法包括如下步驟：

利用已知公開數據集或者使用GoogleNet網絡提取圖片特征形成數據集，通過數據集導入每張圖片的圖像視覺特征數據、標簽及語義描述，其中，所述的數據集由相互不重疊的可見類別數據和不可見類別數據組成，可見類別包含數據豐富的常見海洋生物種類，為模型需要學習的類別，不可見類別包含數據匱乏的深海海洋生物種類，為模型需要辨別的類別，所述的標簽即圖像的類別信息；

類別具體分類器訓練，利用可見類別數據訓練，在保留流形結構的基礎上，為不同類別建立不同的視覺特征空間到語義空間的映射；

其中，所述的可見類別共C_S個，視覺特征數據其中d為視覺特征維度，n_S為可見類別樣本數，語義其中a為語義維度，每行為一個樣本對應的語義向量下標S代表可見類別；

所述的不可見類別共C_U個，可見類別和不可見類別無交集，視覺特征數據其中n_U為不可見類別樣本數，語義每行為一個樣本對應的語義向量其中a為語義維度，下標U代表不可見類別；

為每個不可見類別學習一個特定于類別C的映射矩陣d為視覺特征維度，a為語義維度，類別具體分類器模型如下：

上式中，表示矩陣-范數的平方，X_S^T表示X_S矩陣的轉置，第一項通過映射矩陣W_C將數據映射到語義空間，是由原始的語義矩陣變換而來的，對應第C個可見類別，對于中的第C類語義a_C不做變換，對于其他類的語義變換為-γa_C，γ為超參數，通過對每個類的設置，使視覺特征映射后與自己所屬類別的語義距離近，同時與其他類別語義遠；第二項為-正則項，約束W_C的復雜度，防止模型過擬合；第三項為流形正則項，用于保持本類數據的結構在映射前后不變，其中L_C為拉普拉斯矩陣，L_C＝D_C-R_C，R_C計算如下：

上式中，x_i和x_j分別表示樣本數據的第i行和第j行，即第i個樣本和第j個樣本，表示和x_i屬于同一類且是x_i的k近鄰的樣本，而D_C是一個對角矩陣，其第m個對角元素為R_C第m行的和，即(D_C)_mm＝∑_l(R_C)_ml，λ和β是超參數，用于權衡各項權重；

不可見類類別推斷，通過將可見類別與不可見類別語義之間的權重進行遷移，使用可見類別的映射矩陣合成不可見類別的映射矩陣，根據距離得出不可見類別的標簽，以達到分類目的。

2.根據權利要求1所述的一種基于多分類器的零樣本深海生物圖片分類方法，其特征在于，所述的通過數據集導入每張圖片的圖像特征數據之后，還包括：對圖像特征數據進行歸一化處理，歸一化為[-1,1]之間。

3.根據權利要求1所述的一種基于多分類器的零樣本深海生物圖片分類方法，其特征在于，為對類別具體分類器模型進行求解，以迭代的方式進行W_C的更新，每次更新W_C時，固定其他的不變，其中得到類別具體分類器模型關于W_C的目標函數，令該目標函數對W_C的偏導數為零得到：

其中E為單位陣。

4.根據權利要求1所述的一種基于多分類器的零樣本深海生物圖片分類方法，其特征在于，所述的不可見類類別推斷的過程如下：

將每個不可見類語義表示為可見類的加權組合，即為不可見類語義中第p類樣本的語義向量，為第q類可見類語義，α_q為加權系數，對應的映射矩陣有類似的權重對應關系，即得到不可見類的類別具體的映射矩陣

對于不可見類別圖片x，通過下式計算其投影后與各個類別語義的距離，找出其中距離的最小值，進而得到其對應標簽：

經上述處理后可以推斷出每一張不可見類別圖片的標簽，從而實現零樣本圖片分類。