[發明專利]基于全局與局部上下文感知的零樣本學習圖像分類方法

有效

• 申請號: 202011460544.8
• 申請日: 2020-12-11
• 公開（公告）號: CN112418351B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王國威;陶文源;管乃洋
• 申請（專利權）人: 天津大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/77;G06V10/44;G06V10/82;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于全局與局部上下文感知的零樣本學習圖像分類方法，包括：使用深度神經網絡對圖像進行特征提取，得到多層特征圖；對任意一層特征圖，使用全局注意力進行計算，得到包含全局信息的特征圖；對同一層特征圖，使用局部注意力進行計算，得到代表局部信息的特征向量；將最后一層全局特征圖通過全連接層得到全局特征向量；將多組局部特征向量進行逐元素加和，得到完整局部特征向量；將完整局部特征向量和全局特征向量進行拼接，同時投影到語義空間和隱特征空間，分別采用softmax損失和三元組損失進行參數優化；重復上述步驟，設置多個周期進行訓練，得到一個表征能力強的零樣本學習模型，通過訓練后的零樣本學習模型對圖像進行分類。

技術領域

本發明涉及圖像分類領域，尤其涉及一種基于全局與局部上下文感知的零樣本學習圖像分類方法，通過對不同層次的特征圖提取全局信息和局部信息，增強了對對象的理解，提升了特征的表達能力，提高了分類的準確率。

背景技術

深度學習技術快速發展，且其相關應用已經在多個領域(計算機視覺，自然語言處理等)得到實踐，這是由于深度學習可以利用海量數據進行模型訓練，并以此獲得了強大的識別能力。但是，訓練樣本不可能覆蓋所有的類別。具體而言，對于已有數據來說，其本身也天然服從長尾分布，這代表著只有極少數常見的類別可以提供大量的樣本，而大多數不常見的類別可以收集到的樣本量極其有限。這種現象反映在深度學習中就意味著，深度學習模型對于常見的類別由于訓練樣本數量豐富的原因，能夠達到理想的識別準確率，然而對于不常見類別，模型的識別能力相比于前者有天壤之別。尤其是對沒有收集到訓練樣本的類別，識別能力為零。然而，模型要想能在現實中得到應用，不僅要從已經收集到的數據中獲得較強的識別能力，還要面臨沒有任何訓練樣本的全新類別出現時，應具備的識別能力。世界上每天都會產生新的類別，如新物種，新型號的電子設備等，能夠對未見類別具備識別能力，是深度學習系統發展至今面臨的關鍵轉折，而對于未見類別的識別任務可以通過零樣本學習來解決。

零樣本學習是一種模仿人類大腦識別能力的深度學習技術，Lampert指出，人類大概可以識別30,000種基礎類別，以及這些類別的細粒度子類。人類除了可以識別見到過的類別以及利用這些知識識別細粒度子類之外，還可以識別全新的類別或概念，如根據“外觀與馬類似，有黑白色條紋”的表述，人類可以在第一次見到斑馬的時候，就將其準確識別。

在零樣本學習圖像分類任務中，模型只能利用來自已知類別的圖像，卻可以識別來自未知類別的圖像所屬的類別，之所以能夠完成識別未知類別的任務，是由于利用了一種高層的描述對象特征的語義指示，比如屬性，并假設已知類別和未知類別共享所有屬性，將未知類別和已知類別聯系起來。通常來講，零樣本學習的步驟如下，在訓練階段，模型學習到一種視覺-語義映射，在推理階段，對于一張未知類別的圖像，首先利用上一步中學習到的映射關系將該圖像轉換成語義向量的形式，然后與真實的未知類別屬性向量進行比對，選擇最接近的類別作為預測結果。

根據在訓練階段是否生成了新的訓練數據可以將現有的零樣本學習算法分為兩類，一類是基于生成模型的算法，另一類是基于相容性的算法。第一類算法根據未知類別的語義描述生成圖像，并與已有的已知類別圖像一起采用傳統的深度學習模式進行訓練。然而現有的這類方法存在諸多缺陷，如生成的未知類別圖像不能很好的還原其應有的細節以及生成的未知類別特征不具有可解釋性。這類方法都忽視了圖像中富含信息的視覺區域的重要性。第二類方法直接使用了語義知識，通過將視覺空間和語義空間做對齊的方式來學習一種視覺-語義映射關系。大多數基于相容性方法的模型都把重點放在了如何挖掘對象本身所具有的鑒別性的局部信息，以及如何更好的將兩個不同的空間作對齊。然而忽視了全局信息對于零樣本學習任務的正向作用。

發明內容

本發明提供了一種基于全局與局部上下文感知的零樣本學習圖像分類方法，本發明同時考慮全局特征和局部特征，增強所學習到的映射表達能力，進一步提升零樣本學習模型的性能，詳見下文描述：

一種基于全局與局部上下文感知的零樣本學習圖像分類方法，該方法包括以下步驟：