[發明專利]一種基于多分類器的零樣本深海生物圖片分類方法

有效

• 申請號: 201910836905.5
• 申請日: 2019-09-05
• 公開（公告）號: CN110717513B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 周智恒;牛暢;尚俊媛;黃俊楚;張鵬宇
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 蔣劍明

本發明公開了一種基于多分類器的零樣本深海生物圖片分類方法，包括以下步驟：(1)圖像特征數據導入，數據集由可見類別和不可見類別的視覺特征、語義及標簽信息組成，以有標簽的常見海洋生物種類為可見類別，以數據匱乏的深海生物種類為不可見類別；(2)類別具體分類器訓練，利用可見類別數據訓練，在保留流形結構的基礎上，為不同類別建立不同的視覺語義映射，以提高可見類別的分類準確率；(3)不可見類別推斷，通過將可見類別與不可見類別語義之間的權重進行遷移，使用可見類別的映射矩陣合成不可見類別的映射矩陣，根據距離得出不可見類別的標簽。本發明在一定程度上降低了映射域漂移的影響，準確易行。

技術領域

本發明涉及零樣本圖像分類領域，具體涉及一種基于多分類器的零樣本深海生物圖片分類方法。

背景技術

深海生物是海洋系統的重要組成部分，從生物多樣性與生態系統的角度來看，深海生物種類繁多，具有極高的研究價值，在工業、醫藥、環保等領域也有廣泛的應用價值。這些生物生活的深海地區，常年黑暗，不見陽光，而且溫度低，壓力大，海水含鹽量高。人類對深海生物的了解通常來自于遙控潛艇拍攝的數據。多數已知物種的出現頻率不夠高，數據匱乏，不足以收集和標記一組具有代表性的示例圖像。而且隨著人類對深海的不斷探索，新物種不斷出現，獲取足夠的用于訓練可靠分類器的標簽信息變得越來越有挑戰性。

為了解決上述問題，零樣本圖像分類方法使用帶標簽的可見類別圖像訓練可見類別分類器，以語義為橋梁，將可見類別和不可見類別聯系起來，以完成沒有標簽信息的不可見類別的分類。語義可以是視覺屬性或者詞向量等，視覺屬性由人工標注而來，詞向量可以通過網絡爬蟲等手段獲得。人類在對某些常見類別有了一定認知之后，可以通過描述，辨別出從未見過的類別，零樣本方法模擬的正是這種能力。本發明通過使用零樣本分類方法，以有標簽的常見海洋生物種類為可見類，訓練分類器，利用對深海生物的描述，完成對數據匱乏的深海生物的分類問題。

在零樣本問題中，對于復雜的圖片信息，提取到的特征具有高維特性，存在冗余信息。如何高效利用這些信息，為可見類別學習一個性能優良的分類器，以及如何將標簽空間和語義空間進行有效對齊，使得對可見類別訓練的分類器能夠成功應用于不可見類別的分類，將關系到整個系統最終對不可見類別的分類準確率。因此，提出一種能夠實現深海生物良好分類的零樣本圖像分類方法是目前待解決的問題。

發明內容

本發明的目的是為了克服現有技術中的上述缺陷，提供一種基于多分類器的零樣本深海生物圖片分類方法。

本發明的目的可以通過采取如下技術方案達到：

一種基于多分類器的零樣本深海生物圖片分類方法，所述的零樣本深海生物圖片分類方法包括如下步驟：

利用已知公開數據集或者使用GoogleNet網絡提取圖片特征形成數據集，通過數據集導入每張圖片的圖像視覺特征數據、標簽及語義描述，其中，所述的數據集由相互不重疊的可見類別數據和不可見類別數據組成，可見類別包含數據豐富的常見海洋生物種類，為模型需要學習的類別，不可見類別包含數據匱乏的深海海洋生物種類，為模型需要辨別的類別，所述的標簽即圖像的類別信息；

類別具體分類器訓練，利用可見類別數據訓練，在保留流形結構的基礎上，為不同類別建立不同的視覺特征空間到語義空間的映射；

不可見類類別推斷，通過將可見類別與不可見類別語義之間的權重進行遷移，使用可見類別的映射矩陣合成不可見類別的映射矩陣，根據距離得出不可見類別的標簽，以達到分類目的。

進一步地，所述的通過數據集導入每張圖片的圖像特征數據之后，還包括：對圖像特征數據進行歸一化處理，歸一化為[-1，1]之間。

進一步地，所述的可見類別共C_S個，視覺特征數據其中d為視覺特征維度，n_S為可見類別樣本數，語義其中a為語義維度，每行為一個樣本對應的語義向量下標S代表可見類別；