[發明專利]一種基于語義屬性注意力重分配機制的零樣本學習方法及系統

有效

• 申請號: 201910335801.6
• 申請日: 2019-04-24
• 公開（公告）號: CN110163258B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉洋;蔡登
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

本發明公開了一種基于語義屬性注意力重分配機制的零樣本學習方法及系統，其中，零樣本學習方法包括：(1)建立基于語義屬性注意力重分配機制的神經網絡模型；(2)使用語義屬性空間的注意力重新分配語義特征之間的權重；(3)使用帶有標簽的圖像數據集訓練神經網絡模型；(4)計算圖像加權后的語義特征與未知類的語義原型的相似度，計算隱層特征與未知類的隱層特征原型的相似度，將兩種相似度相加得到測試圖像與各未知類的相似度；(5)根據與各類之間的相似度進行排序，選取最大相似度的類作為該圖像的類預測。本發明可以使零樣本學習在訓練過程中，能夠更加緊密地聯系語義空間和隱層空間，使得結合兩種空間的聯合分類的結果更加魯棒。

技術領域

本發明涉及零樣本學習分類系統領域，尤其是涉及一種基于語義屬性注意力重分配機制的零樣本學習方法及系統。

背景技術

近年來，目標分類作為計算機視覺領域中一個重要的分支，受到廣大來自工業界和學術界研究者的關注。受益于深度學習技術的快速發展，有監督的目標分類任務取得了很大的進展，但同時，這種監督條件下的訓練方法存在一些限制。在有監督分類中，每個類都需要足夠的帶有標簽的訓練樣本。另外，學習的分類器只能對屬于訓練數據所覆蓋的類的實例進行分類，缺乏處理先前看不見的類的能力。在實際應用中，每個類可能沒有足夠的訓練樣本，也可能存在訓練中未覆蓋的類出現在測試樣本中的情況。零樣本學習的目標是對屬于訓練中沒有覆蓋的類的實例進行分類，已經成為機器學習領域中一個快速發展的方向，在計算機視覺，自然語言處理和普適計算方面具有廣泛的應用。

目前主流的零樣本學習方法，主要采取基于屬性的兩階段推導來預測圖像的標簽。該推導方法的流程為：輸入一張圖像，模型在第一階段預測這張圖像的各個屬性，再在第二階段通過搜索擁有最相似屬性集的類來推斷其類標簽。例如，Christoph H.Lampert等人在2013年在IEEE模式分析與機器智能期刊(The IEEE Transactions on PatternAnalysis and Machine Intelligence)上發表的文章《Attribute-based classificationfor zero-shot visual object categorization》提出的DAP模型通過學習概率屬性分類器來估計圖像的每個屬性的后驗概率，然后通過計算類的后驗概率和最大后驗估計來推斷圖像的類標簽。2016年國際計算機視覺與模式識別會議(The Conference on ComputerVision and Pattern Recognition)上收錄的《Recovering the missing link：Predicting class-attribute associations for unsupervised zero-shot learning》中，提出首先為每個屬性學習概率分類器，然后通過隨機森林的方法進行分類，這種分類方法能夠處理一些不可靠的屬性。這種兩階段的方法存在域遷移的問題，例如，雖然目標任務是預測圖像的類的標簽，DAP的中間任務是學習與圖像屬性有關的分類器。