[發明專利]細粒度圖像零樣本識別方法

有效

• 申請號: 201910032246.X
• 申請日: 2019-01-14
• 公開（公告）號: CN111435453B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 張勇東;閔少波;謝洪濤;李巖
• 申請（專利權）人: 中國科學技術大學;北京中科研究院
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06K9/62;G06V10/774
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發明公開了一種細粒度圖像零樣本識別方法，該方法基于語義分解與遷移的零樣本圖像分類技術，能夠充分地挖掘兩個域的語義信息的同時產生無偏的語義和視覺表達，達到更好的分類效果，同時，該方法在四個公共細粒度分類數據集上都取得了目前最好的結果。

技術領域

本發明涉及圖像分類技術領域，尤其涉及一種細粒度圖像零樣本識別方法。

背景技術

傳統的圖像分類技術需要海量的數據支持和精確的人工標注。然而面對各種各樣的任務需求，依靠人工標注是很低效的一種做法。

近幾年來，零樣本圖像識別技術得到了廣泛的關注，其目的為使模型能夠識別從未見過的圖像類別。為了實現這一任務，不同類別的無偏語義信息被用來連接源域數據(可見數據)和目標域數據(不可見數據)，來使模型對不同數據域的偏差更為魯棒。通常的做法為，將圖像和語義屬性映射到同一個嵌入空間，使對應的圖像和語義屬性能正確的匹配上。于是分類問題變成了一個最近鄰搜索問題，并最終使搜索域涵蓋目標域數據，來達到零樣本分類。由于在訓練階段中，目標域圖像無法獲得，因此訓練好的模型對兩個域的偏差非常敏感，而現有的方法僅僅利用目標域語義信息來得無偏的語義表達或者視覺表達，沒有充分的利用好語義信息。

發明內容

本發明的目的是提供一種細粒度圖像零樣本識別方法，具有較好的分類效果。

本發明的目的是通過以下技術方案實現的：

一種細粒度圖像零樣本識別方法，包括：

構建語義分解與遷移網絡，利用獲取的源域數據集中的視覺圖像與對應的語義屬性，以及目標域數據集中包含的語義屬性來訓練所述的語義分解與遷移網絡，使其能將視覺圖像與其對應的語義表達做正確的配對；

在測試階段，利用訓練好的語義分解與遷移網絡對來源于任意域的視覺圖像進行識別，得到識別結果。

由上述本發明提供的技術方案可以看出，基于語義分解與遷移的零樣本圖像分類技術，能夠充分地挖掘兩個域的語義信息的同時產生無偏的語義和視覺表達，達到更好的分類效果，同時，該方法在四個公共細粒度分類數據集上都取得了目前最好的結果。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他附圖。

圖1為本發明實施例提供的零樣本分類任務中的域偏差示意圖；

圖2為本發明實施例提供的語義分解與遷移網絡的框架圖。

具體實施方式

下面結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例?；诒景l明的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明的保護范圍。

本發明實施例提供一種細粒度圖像零樣本識別方法，包括：

構建語義分解與遷移網絡，利用獲取的源域數據集中的視覺圖像與對應的語義屬性，以及目標域數據集中包含的語義屬性來訓練所述的語義分解與遷移網絡，使其能將視覺圖像與其對應的語義表達做正確的配對；

源域數據集包括：一系列視覺圖像、以及對應的語義屬性與類別標簽，其中視覺圖像的類別標簽為視覺圖像在現實世界的類別，語義屬性為一組向量，其編碼的內容為圖像的屬性描述(比如物體的長寬，顏色等)。

在測試階段，利用訓練好的語義分解與遷移網絡對來源于任意域的視覺圖像進行識別，得到識別結果(也即對應的類別標簽)。

為了便于理解，下面針對上述方法的原理及具體實現過程做詳細的介紹。