[發明專利]一種零樣本圖像分類方法及系統

在審

• 申請號: 201710791767.4
• 申請日: 2017-09-05
• 公開（公告）號: CN107563444A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 皮特;李璽;張仲非
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46
• 代理公司: 杭州宇信知識產權代理事務所(普通合伙)33231
• 代理人: 喬占雄

技術領域

本發明涉及圖像分類、零樣本分類學習領域，具體涉及一種基于類別的語義一致性正則化的零樣本圖像分類方法及系統。

背景技術

隨著互聯網和拍攝設備的發展和普及，互聯網上的圖像等多媒體數據產生迅速。由于圖像數據又較高的標注成本，以及更多具有細粒度類別的圖像數據集的出現，使得在一些新出現的領域(domain)中的訓練數據通常難以得到。另一方面，即使在同一領域，訓練數據和測試數據也可能具有相關但不同的特征和語義分布，不滿足傳統的同分布假設。因此，為了有效預測新產生的目標數據，如何利用來自相關領域的有標注訓練數據，從中學習可適應目標數據的知識就成為值得研究的問題，也是遷移學習(transfer learning)所關心的問題。在此背景下，零樣本學習(zero-shot learning)問題作為遷移學習的一個實例，受到了研究者的廣泛關注。

零樣本學習的關心的是如何基于來自可見類別Y_S的有標注數據，學習對無正樣本訓練數據的目標類別Y_T的分類器。其通常的解決方案是引入關于類別標簽的語義輔助信息，在一個共同的語義嵌入空間內建模所有類別的語義特征和類別間的語義關系，從而將可見類別Y_S和目標類別Y_T關聯起來。這些類別的輔助信息包括對類別人工標注的屬性值[1]，語義類別層次如wordnet[2]，非監督的單詞向量表達[3]等。以二值化的屬性值為例，類別“北極熊”在各屬性“白色”“黑色”“棕色”“有條紋”“水中生活”“吃魚”的取值為[1,0,0,0,1,1]，類別“斑馬”的上述屬性的值為[1,1,0,1,0,0]，類別“水獺”的上述屬性的值為[0,1,1,0,1,1]，等等。

從遷移學習的角度，零樣本分類學習的兩個本質原則在于對可見類別Y_S的數據分布的判別性和對目標類別Y_T的魯棒的跨語義適應性。因此，零樣本分類器不但應捕捉從樣本特征到類別語義嵌入的有效校準，還應適應Y_S和Y_T之間的語義近鄰關系。具體地，我們對模型的一個合理的假設為：對于某個圖像數據樣本x_i，零樣本分類器應當對與該樣本的真實標簽y_i語義相近的目標類別r₁∈Y_T產生較高的匹配性分數，對與y_i語義差異大的目標類別r₂∈Y_T應產生較低的匹配性分數。

參考文獻：

[1]Zeynep Akata,Florent Perronnin, Harchaoui,Cordelia Schmid.Label-Embedding for Attribute based Classification[C]//IEEE Conference on Computer Vision and Pattern Recognition.2013:819–826.

[2]George A.Miller.Wordnet:ALexical Database for English[J].Communications of the ACM,1995.38(11):39–41.

[3]Andrea Frome,Gregory S.Corrado,Jonathon Shlens,Samy Bengio,Jeffrey Dean,Marc’Aurelio Ranzato,Tomas Mikolov.Devise:A deep visual-semantic embedding model[C]//Advances in Neural Information Processing Systems.2013:2121–2129.

發明內容

本發明的目的在于提供一種預測效果更準確的零樣本圖像分類方法，利用類別標簽間的語義近鄰關系，建立語義一致性正則化的零樣本分類模型。該方法能夠學習更適應目標類別的語義結構的零樣本分類器，提高對目標類別圖像分類的準確率。

為實現上述目的，本發明的技術方案為：

一種零樣本圖像分類方法，包括如下步驟：

S10：輸入屬于可見類別的訓練圖像數據及其類別標簽，對數據進行特征提取，得到可用于機器學習的圖像樣本特征；

S20：輸入可見類別標簽和目標類別標簽的語義輔助信息(例如人工標注的屬性等)，得到各標簽的向量化的語義嵌入表示以及標簽間的語義差異度量；