[發明專利]一種零樣本圖像分類方法及系統

在審

• 申請號: 201710791767.4
• 申請日: 2017-09-05
• 公開（公告）號: CN107563444A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 皮特;李璽;張仲非
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46
• 代理公司: 杭州宇信知識產權代理事務所(普通合伙)33231
• 代理人: 喬占雄

1.一種零樣本圖像分類方法，其特征在于，包括如下步驟：

S10：輸入屬于可見類別的訓練圖像數據及其類別標簽，對數據進行特征提取，得到可用于機器學習的圖像樣本特征；

S20：輸入可見類別標簽和目標類別標簽的語義輔助信息，得到各標簽的向量化的語義嵌入表示以及標簽間的語義差異度量；

S30：基于步驟S10得到的樣本圖像特征和步驟S20得到的類別標簽的語義嵌入表示，建立零樣本分類模型；并基于步驟S20得到的類別標簽間的語義差異度量，對模型作語義一致性正則化，使模型的輸出與類別間的語義近鄰關系相一致；

S40：根據步驟S30得到的語義一致性正則化的零樣本分類模型，迭代地更新模型的參數，直至參數收斂；

S50：根據步驟S40學習得到的零樣本分類模型，對新輸入的屬于目標類別的測試圖像作預測，輸出其類別標簽。

2.如權利要求1所述的零樣本圖像分類方法，其特征在于，步驟S30包括：

S301：根據圖像樣本的數據特征和類別標簽的語義嵌入表示，建模圖像樣本和類別標簽間的匹配性分數，基于最大間隔原則建立零樣本分類模型；

S302：根據類別標簽間的語義差異度量，對步驟S301建立的零樣本分類模型作語義一致性正則化約束；該約束的作用在于，對于每個訓練樣本，與該樣本的真實類別語義相近的目標類別應獲得較高的匹配性分數，與該樣本的真實類別語義差異大的目標類別應獲得較低的匹配性分數。

3.如權利要求1所述的零樣本圖像分類方法，其特征在于，步驟S40包括：

S401：基于凸優化方法迭代地求解模型參數，直至參數收斂。

4.如權利要求1-3任一項所述的零樣本圖像分類方法，其特征在于，所述的對圖像數據進行特征提取所提取的特征為GoogleNet深度學習特征。

5.如權利要求4所述的零樣本圖像分類方法，包括：

輸入可見類別單詞集合，將其索引記為Y_S＝{1,2,…,C_S}，其中C_S是可見類別的總數；輸入屬于可見類別Y_S的訓練圖像數據及其類別標簽，對圖像提取GoogleNet深度學習特征，得到訓練數據集其中，是第i個圖像樣本的GoogleNet特征，y_i∈Y_S是樣本x_i的類別標號，N是樣本的個數，d是特征維度；

輸入目標類別單詞集合，將其索引記為Y_T＝{C_S+1,…,C}，其中C是可見類別與目標類別的總數；記Y＝Y_S∪Y_T；輸入全部類別標簽的語義輔助信息，得到各類別標簽的m維的語義嵌入表示其中，為嵌入函數；并得到類別標簽間的語義差異性度量Δ:Y×Y→[0,1]，滿足Δ(y,y)＝0且Δ(y,y′)>0(y≠y′)；

基于上述圖像樣本特征和類別標簽的語義嵌入表示，建模圖像樣本和類別標簽的匹配性分數其中，W是待學習的參數；

基于最大間隔原則，建立分類模型：

minWΣi=1NΣr∈YSL(ρir)+vΩ(W)]]>

s.t.ρ_ir＝F(x_i,r；W)-F(x_i,y_i；W)+Δ(y_i,r)

其中，是損失函數，應為單調遞增的凸函數；Ω(W)是正則項；v>0是預設定的權衡參數；

為上述模型添加語義一致性正則化項定義如下：

S(Fit)=ln(1+exp(cov[Fit,Δit]))]]>

其中，分別是F(x_i,r)和Δ(y_i,r)關于r∈Y_T堆疊成的向量；cov[·,·]為兩向量的協方差算子，定義為：

cov[Fit,Δit]=1|YT|Σr∈YTF(xi,r)Δ(yi,r)-1|YT|Σr∈YTF(xi,r)·1|YT|Σr∈YTΔ(yi,r)]]>

將上述正則化項加入分類目標函數中，得到受語義一致性正則化的零樣本分類模型：

minWΣi=1NΣr∈YSL(ρir)+βΣi=1NS(Fit)+vΩ(W)]]>

s.t.ρ_ir＝F(x_i,r；W)-F(x_i,y_i；W)+Δ(y_i,r)

其中，β>0為預設定的權衡參數，作為語義一致性正則化相對于分類損失L(·)的權重；

根據上述模型，基于凸優化方法迭代地求解模型參數W，直至參數收斂；

對新輸入的來自目標類別的測試圖像特征x，其預測類別為：

y(x)=argmaxr∈YTF(x,r;W)]]>