[發明專利]基于直推式半監督深度學習的多標簽圖像分類方法

在審

• 申請號: 202210503639.6
• 申請日: 2022-05-10
• 公開（公告）號: CN114882279A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 石偉偉;吳少峰;黑新宏;趙志強;王曉帆;魯曉鋒;費蓉
• 申請（專利權）人: 西安理工大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 徐瑤

本發明公開的基于直推式半監督深度學習的多標簽圖像分類方法，具體為：1)準備多標簽圖像訓練樣本集，將訓練樣本集劃分為有標注訓練樣本集和無標注訓練樣本集；2)構建類共生關系圖；3)根據類共生關系圖搭建網絡模型；4)構造帶置信度的互相關熵分類損失函數；5)構造帶置信度的分類概率約束函數；6)構造帶置信度的類別?特征相關性目標函數；7)構造總的目標函數；8)根據步驟7)構造的總的目標函數，并結合直推式半監督學習原理，訓練步驟3)中所搭建的網絡模型；9)將待分類的多標簽圖像輸入到步驟8)訓練好的網絡模型，在分類層得到該圖像的預測類別。該方法能夠學習到更具有類別相關性的特征向量。

技術領域

本發明屬于計算機視覺多標簽圖像分類技術領域，具體涉及一種基于直推式半監督深度學習的多標簽圖像分類方法。

背景技術

多標簽圖像是指一張圖像包含多個類別標簽的物體，多標簽圖像分類是指從預定義的類別標簽集合中為每張圖像分配多個與其相關的類別標簽。多標簽圖像分類具有廣泛的應用需求。多標簽圖像分類的應用場景包括多目標識別與檢測、相冊歸類、圖像語義標注、圖像檢索等。

基于大數據驅動的監督深度學習方法已在多標簽圖像分類等多個計算機視覺應用領域中都取得了目前最好的性能。但是對于多標簽圖像構建大規模有標注的訓練樣本集是非常耗時、昂貴、而且往往還需要相關專業知識。然而，可以容易且快速地從互聯網上獲得大量無標注多標簽圖像。因此，研究面向多標簽圖像分類的半監督深度學習方法具有重要的實際意義和廣闊的應用前景。

目前，許多面向圖像分類的半監督深度學習方法被提出來。這些方法的核心思想是自洽正則化，即對無標注樣本進行數據增廣，通過維持無標注樣本與其增廣樣本的特征一致性、標簽預測一致性或模型參數一致性來保證深度卷積神經網絡模型訓練的穩定性。雖然它們在一般的單標簽圖像分類任務上已經基本達到了較為滿意的分類精度，但在多標簽圖像分類任務上，效果并不令人滿意，主要原因是：這些方法不是專門針對多標簽圖像分類任務設計的，它們沒有考慮多標簽圖像分類的難點。

與單標簽圖像分類相比，多標簽圖像分類更具有挑戰性，其難點主要在于：1)一張圖像上可以包含多個類別標簽的物體，不同的類別不再相互排斥，甚至語義上有重疊或存在著各種共生關系；2)事先不知道一張圖像上共包含多少類的物體。

目前一些專門針對多標簽圖像分類的半監督深度學習方法已被提出，這些方法主要是基于標簽傳播和圖嵌入的半監督深度學習方法，它們沒有考慮多標簽類共生關系與分類器參數之間的關系，并且沒有針對多標簽圖像進行類別-特征相關性學習。

綜上所述，對于多標簽圖像分類任務，目前的半監督學習方法還有一定的局限性和不足。

發明內容

本發明的目的是提供基于直推式半監督深度學習的多標簽圖像分類方法，該方法不依賴于深度卷積網絡結構，能夠學習到更具有類別相關性的特征向量，且能夠顯著降低訓練數據的標注成本。

本發明所采用的技術方案是，基于直推式半監督深度學習的多標簽圖像分類方法，包括以下步驟：

1)準備多標簽圖像訓練樣本集，將訓練樣本集劃分為有標注訓練樣本集和無標注訓練樣本集；

2)根據有標注訓練樣本集，構建類共生關系圖；

3)根據類共生關系圖搭建網絡模型；

4)構造帶置信度的互相關熵分類損失函數；

5)構造帶置信度的分類概率約束函數；

6)構造帶置信度的類別-特征相關性目標函數；

7)根據帶置信度的互相關熵分類損失函數、帶置信度的分類概率約束函數和帶置信度的類別-特征相關性目標函數，構造總的目標函數；

8)根據步驟7)構造的總的目標函數，并結合直推式半監督學習原理，訓練步驟3)中所搭建的網絡模型；