[發明專利]一種基于絕對-相對學習架構的小樣本學習方法和系統

有效

• 申請號: 202110700741.0
• 申請日: 2021-06-24
• 公開（公告）號: CN113255701B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 張洪廣;馬琳茹;楊雄軍;李東陽;保金禎
• 申請（專利權）人: 軍事科學院系統工程研究院網絡信息研究所
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N20/00
• 代理公司: 中國和平利用軍工技術協會專利中心 11215
• 代理人: 劉光德

本發明提出一種基于絕對?相對學習架構的小樣本學習方法和系統，包括：調用表征提取模塊，對訓練集中的各個圖像樣本進行表征提取，以獲得各個圖像樣本的特征向量；調用絕對學習模塊，對各個圖像樣本的特征向量進行訓練，以確定各個圖像樣本基于類別的第一預測結果和基于語義的第二預測結果；將每兩個圖像樣本的特征向量組合成一組樣本特征對，將每一組樣本特征對中的兩個特征向量拼接為一組合成向量；調用相對學習模塊，對樣本特征對進行訓練，以確定每一組樣本特征對中的兩個特征向量基于類別的第一相似度和基于語義的第二相似度；根據第一預測結果、第二預測結果、第一相似度、第二相似度來計算模型的損失函數，以完成對模型的訓練。

技術領域

本發明屬于小樣本學習技術領域，尤其涉及一種基于絕對-相對學習架構的小樣本學習方法和系統。

背景技術

近年來，盡管深度學習已在目標識別、場景理解、語義分割等計算機視覺領域取得顯著效果，但也存在一些關鍵瓶頸問題，比如現有深度學習模型嚴重依賴集中式大規模標注訓練數據，當標注訓練數據匱乏時，深度學習模型的泛化性會顯著降低，導致其應用場景受限。與現階段的深度學習模型不同，人類一般情況下只需少量數據就可以快速掌握新的目標概念，受此啟發，研究人員提出了“小樣本學習”概念，旨在探索如何在新的目標類別標注樣本量極少的情況下，利用從已有樣本中總結出的知識和經驗來解決新問題的方法，并逐漸成為機器學習領域新的研究熱點。目前，小樣本學習問題主要基于目標識別場景進行算法建模和性能評估，簡而言之，可以概括為一種W-way K-shot的均衡采樣目標識別任務，即首先從訓練集中隨機采樣W個不同類別，再從每個類別中分別隨機采樣K個標記樣本構建支持集S，通過度量查詢集Q中未標記的樣本與支持集之間的關系進行分類。在訓練階段通過以上方式構造大量元訓練任務對模型參數進行預訓練，然后將所獲得的參數遷移到目標測試類別，并構建元測試任務進行模型性能評估。

廣泛使用的小樣本學習方法之一是基于關系度量的學習技術，其核心思想在于通過度量支持集和查詢集樣本對表征之間的相似性來獲取不同樣本之間的關系，并以此作為分類依據來進行樣本預測。該方法一般包含兩個模塊，表征提取模塊和關系度量模塊，其中表征提取模塊主要負責將圖像樣本嵌入卷積向量空間，而關系度量模塊則用來計算支持-查詢樣本對之間的相似度分數。匹配網絡和關系網絡模型是該類小樣本學習方法的典型代表，其中前者通過引入注意力函數計算支持樣本和查詢樣本之間的關系，后者則使用深度卷積網絡自適應地學習度量不同樣本對之間的相似度，從而判斷測試樣本所屬類別。

盡管上述基于度量學習的小樣本學習方法在小樣本目標識別的任務場景中取得了一定成效，卻也存在以下問題：

（1）基于特定距離函數的度量指標雖然簡潔有效，卻并不適用于描述復雜場景下的樣本關系，且容易出現過擬合問題；（2）基于二值化關系標簽的樣本關系模型過于理想，缺乏決策的平滑性，無法客觀描述真實世界中不同物體之間的相關性，從而導致模型在細粒度和粗粒度識別中的決策存在較大偏差；（3）關系網絡僅比較了樣本對之間的相似程度，而忽略了樣本實際所屬類別的具體含義，導致表征提取模塊在訓練過程中缺失了重要的目標概念知識，從而限制了小樣本學習的性能提升。

發明內容

本發明提出了一種基于絕對-相對學習架構的小樣本學習方案，以解決現有技術中存在的技術問題，即，如何設計新型關系網絡以使小樣本學習模型能夠充分利用類別標簽及語義標準信息來改進圖像表征效果，進而提升訓練樣本極少情況下的分類性能。本方案通過將相似度學習和概念學習結合起來，以使基于度量學習的小樣本學習模型能夠更好的捕獲圖像對之間復雜的類關系，從而獲得更好的分類效果。