[發明專利]基于判別性視覺屬性的零樣本識別方法及系統

有效

• 申請號: 202011337219.2
• 申請日: 2020-11-25
• 公開（公告）號: CN112329884B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 謝昱銳;蔣濤;袁建英;許林
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06K9/62;G06N20/20
• 代理公司: 北京元本知識產權代理事務所(普通合伙) 11308
• 代理人: 王紅霞

本發明提供一種基于判別性視覺屬性的零樣本識別方法及系統，方法包括以下步驟：S1：構建稀疏編碼模型，基于原特征域樣本數據優化稀疏編碼模型得到視覺特征到人工定義屬性表示的原特征域變換關系；S2：引入分類錯誤代價項構建監督字典學習目標模型，提取原特征域判別性視覺屬性集合；S3：基于原特征域變換關系及原特征域判別性視覺屬性集合，構建目標特征域學習模型，挖掘目標特征域判別性視覺屬性；S4：輸入包含語義對象的待測圖像，通過深度殘差網絡提取待測圖像的深度視覺特征，并優化稀疏編碼目標函數，得到待測圖像視覺特征的語義屬性表示。本發明能解決人工定義屬性在識別時導致特征表示語義信息的匱乏問題，增強視覺特征表示的判別能力。

技術領域

本發明屬于計算機視覺識別技術領域，具體涉及一種基于判別性視覺屬性的零樣本識別方法及系統。

背景技術

當今，圖像及視頻數據呈爆炸式增長，面對紛繁復雜的多媒體數據，如何有效的分析并理解其語義內容變得日趨重要。為了解決以上問題，計算機視覺識別技術便孕育而生。目前，在該領域內隨著大規模視覺數據庫的建立以及深度神經網絡的廣泛應用，視覺識別方法得到了迅速的發展，特別在視覺特征提取、強監督模型構建、數據驅動神經網絡學習方面取得了較大的進步。然而，由于底層視覺數據與中高層語義信息間固有的語義鴻溝，當前對象識別算法在判別性特征提取、少量及零樣本識別、跨特征域適應性等關鍵問題上仍進展緩慢。

針對當前計算機視覺識別技術的以上問題，近些年提出了基于零樣本學習的視覺識別算法。區別于傳統計算機識別技術，基于零樣本的學習算法致力于識別訓練過程中沒有出現的新對象類別，該特性有效提升了視覺識別系統的可擴展性，其顯著的優越性在于無需收集大量新出現對象類別的訓練樣本，較好解決了稀有對象類別訓練數據的獲取，以及實際應用中人工標注成本過高的問題。其次，基于零樣本的機器學習機制，受啟發于人腦的認知模式，通過已構建知識的遷移，實現具有差異性對象類別的識別。比如，小孩從未看見過斑馬，但通過預先建立的一般馬匹與斑馬在皮膚紋理上的區別，便能很容易識別這種動物。由于以上零樣本學習方法的優點，近年在計算機識別領域得到了廣泛的關注及應用。

然而，當前基于零樣本視覺識別方法的研究仍存在以下亟待解決的問題：首先，現有零樣本學習方法往往僅借助人工定義的對象屬性，忽視了判別性視覺特征的構建，以及知識遷移的域適應性，該人工定義屬性雖具有語義描述性，但其在視覺空間中的判別性、以及描述語義對象類別的完備性難以保證，導致了特征表示語義信息的匱乏、視覺特征語義表示判別能力的降低。另外，由于新出現對象類別與原對象類別屬于不同特征域，在當前零樣本識別算法中缺乏跨特征域模型的研究，進而造成知識的無效遷移，最終不能有效識別新對象類別。

發明內容

有鑒于此，本發明的目的之一在于提供一種基于判別性視覺屬性的零樣本識別方法，該方法能解決人工定義屬性在識別時導致特征表示語義信息的匱乏問題，實現視覺特征空間與語義嵌入空間的聯合，增強視覺特征表示的判別能力。

為實現上述目的，本發明的技術方案為：一種基于判別性視覺屬性的零樣本識別方法，包括以下步驟：

S1：構建稀疏編碼模型，基于原特征域樣本數據優化所述稀疏編碼模型得到視覺特征到人工定義屬性表示的原特征域變換關系；

S2：引入分類錯誤代價項構建監督字典學習目標模型，提取原特征域判別性視覺屬性集合；所述監督字典學習目標模型為：

其中，表示原特征域判別性視覺屬性集合，為視覺特征F_s在上的語義屬性表示，為中的一個子集，為分類錯誤代價項，即對應于第i個對象類別的語義屬性表示，C_s為原特征域對象類別的總數，w_i、b_i為分類錯誤代價項的參數，λ₁、λ₂為權重系數，區別于標準稀疏字典學習模型，發明方法目標函數中引入了分類錯誤代價項借助圖像數據的監督信息，有效挖掘數據集內具有判別性的視覺屬性；