[發明專利]一種基于多重網絡合作的零樣本學習算法

有效

• 申請號: 202010511084.0
• 申請日: 2020-06-08
• 公開（公告）號: CN111738313B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 孫亮;宋俊杰;葛宏偉;李寶煜;譚國真
• 申請（專利權）人: 大連理工大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 李曉亮;潘迅

本發明屬于機器學習和遷移學習的交叉領域，公開一種基于多重網絡合作的零樣學習算法，包括生成網絡一、生成網絡二、對抗網絡和重構網絡。首先，將反向視覺特征空間作為嵌入空間，通過視覺特征中心生成網絡實現映射。其次，采用更深層次的神經網絡來生成，將殘差網絡模塊引入到生成網絡一和二中。之后，為減少過度擬合和提高可擴展性，引入一個對抗網絡識別視覺特征中心的生成。最后，利用一個反向生成過程的重構網絡來限制生成的視覺特征中心與每個類的原始語義表示之間的結構相關性。本發明在傳統的零樣本學習和廣義零樣本學習上都獲得了令人滿意的結果，對具有潛在應用前景的、識別無標注的海量未知類別的圖像識別任務發揮促進作用。

技術領域

本發明屬于機器學習和遷移學習的交叉領域，涉及一種基于多重網絡合作的零樣本學習 算法。

背景技術

雖然例如ImageNet等大數據的收集和標注使得監督學習任務取得巨大成功。然而，當任 務越復雜，標注越少，模型很難進行學習。收集和標注大量數據又是非常困難的。因此，當 在訓練樣本數量不足、樣本無標簽甚至是零樣本的情況下，如何充分利用網絡不斷產生的大 數據，成為了機器學習和計算機視覺領域的新興問題。為了解決上述問題，零樣本學習被提 出，其目的是不需要對未知類別圖片進行標注而通過未知物體的描述就能識別未知類別。零 樣本學習目前主要研究的是圖像分類任務。

零樣本學習目的是識別未知物體，其目的是通過在訓練集上對已知類別的樣本進行映射 學習來獲得泛化能力強的學習器，再利用在已知類上學習到的分類器對未知類別樣本進行分 類，其最早由H.Larochelle等人[15]于2008年提出。零樣本學習主要利用高維語義表征來代 替樣本的低維視覺特征，使得訓練出來的模型具有遷移性。比如，斑馬的高維語義是“斑馬擁 有馬的外形，熊貓的顏色，老虎的斑紋”，盡管缺乏更多細節，但這些高維語義表征已經足夠 對“斑馬”這一類別進行分類，從而讓機器成功預測出未知物種。其實，零樣本學習解決了圖 像識別方向長久以來的問題，即如果一個事物從來沒有在現有的數據集中出現過，機器應該 如何學習和識別它，機器應該輸出什么樣的結果。總之，零樣本學習不但降低了現有算法對 數據集的依賴和標注的壓力，而且零樣本學習清晰有效地指向了對縮減算力需求的可行性的 解決方案。更重要的是，零樣本解決的不僅僅是計算機視覺的分類問題，其更是與自然語言 處理的發展相輔相成。根據模糊的高維語義描述去進行物體識別，對機器的要求不僅僅是簡 單分類，還要理解特征一些人類的高級知識，比如一種藝術作品的風格、一種特殊的情緒等。 找到這種語義上的聯系，將機器視覺與自然語言技術聯合在一起解決問題，零樣本學習激發 的技術想象。零樣本學習是一門非常有趣的研究方向，其已經成為了最近機器學習領域的重 要研究方向之一。按照對語義屬性的使用方式不同，零樣本學習工作可以被分為四類：基于 屬性的方法，基于映射的方法，基于合成的方法以及基于生成的方法。

基于屬性的方法利用兩階段方法中的屬性來推斷屬于其中一個未見類別的圖像標簽。從 最一般的意義上講，輸入圖像的屬性是在第一階段進行預測的，然后通過搜索獲得最相似屬 性的類別來推斷其類別標簽。例如，2009年C.H.Lampert等人提出了直接屬性預測(DAP) 和間接屬性預測(IAP)模型。其中DAP模型首先通過學習概率屬性分類器來估計圖像的每 個屬性的后驗。然后，它計算后驗類別，并使用MAP估計來預測類別標簽。與DAP不同的 是，IAP首先預測所見類別的類別后驗，然后使用每個類別的概率來計算圖像的屬性后驗， 其中可見類別的類別后驗由多個類別分類器預測(C.H.Lampert,H.Nickisch andS.Harmeling, “Attribute-Based Classification for Zero-Shot Visual ObjectCategorization,”in IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.36,no.3,pp.453-465,March 2014.)。