[發明專利]支持多任務和跨任務的小樣本分類訓練方法及裝置

在審

• 申請號: 202011133629.5
• 申請日: 2020-10-21
• 公開（公告）號: CN112200262A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 黃美玉;向雪霜;徐遙
• 申請（專利權）人: 中國空間技術研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京善任知識產權代理有限公司 11650
• 代理人: 張振偉

本申請公開了一種支持多任務和跨任務的小樣本分類訓練方法及裝置，所述方法包括：形式化類比，將小樣本分類問題中的分類任務形式化成標準分類問題中的樣本,并將小樣本分類的目標形式化成給定大量任務樣本的情況下學習一種任務解決器(能夠估計任務是否完成)；2)模擬標準分類問題中的批訓練技術(每次迭代處理每個類別中的一些樣本)，提出一種多任務(multi?episode)的小樣本分類訓練算法(每次迭代處理多個任務類別中的一些任務樣本)；3)模擬標準分類問題中的預訓練技術(在大規模數據上為類似小規模數據任務預先訓練一個基本模型)，提出一種跨任務(cross?way)的小樣本分類訓練算法(在多類別(高way)問題上為小類別(低way)問題預先訓練一個基本模型)。

技術領域

本申請實施例涉及深度學習、圖像分類和計算機視覺處理技術，尤其涉及一種支持多任務和跨任務的小樣本分類訓練方法及裝置。

背景技術

最近幾年，得益于深度學習技術的發展，大規模監督學習取得了突破性進展，尤其是圖像識別領域，例如ImageNet數據集上的精度由2012年的50％多上升到80％，機器的人臉識別正確率甚至超過了人眼。但是深度學習成功的背后，是對大數據集的依賴。而現實情況下，例如，交通事故自動識別、軍事敏感目標分類以及醫藥分子毒性測試問題中，能夠獲取的樣本都非常稀少。此時直接使用傳統的深度學習技術進行訓練非常容易產生過擬合問題。

如何在小樣本下開展深度學習成為新的研究課題。小樣本分類旨在模擬人類能夠通過少量先驗數據學習新概念的能力。人類之所以具備這種能力，主要原因就在于，人類能夠從已有任務中學習知識，并將其應用到未來的模型訓練。受到人類學習的啟發，通用的做法是采用輔助的元學習或學會學習的模式訓練小樣本分類，以采用基于優化的方法學習可遷移的初始條件或采用基于記憶的方法和基于距離的方法學習可遷移的特征嵌入，然后再通過學習到的優化策略fine-tune求解目標小樣本分類問題或在不更新網絡權重的情況下直接前向計算求解目標小樣本分類問題。

這些元學習模式已經在小樣本分類中取得了重要的進展。其中最為有效的元學習模式都采用了基于episode的訓練框架，每個episode中包含一個小的標記支撐集以及一個對應的查詢集，以模擬測試環境下的小樣本設置來增加模型的泛化能力。在這種基于episode的訓練框架中，小樣本分類可以被看成是通過在大量分類任務(給定一個小的標記支撐集的情況下分類一個未標注查詢樣本)上訓練學習完成分類任務的能力。基于該視角，訓練數據并不受限，而是非常巨大的，例如在Omniglot數據集上考慮5-way小樣本分類問題，將會有C₁5₂₀₀種任務，因此可以將小樣本分類問題視為一種標準的分類問題。

但現有技術缺乏對該視角的形式化解釋，從而無法充分利用標準分類問題中的學習技術快速從海量的任務中學習一種通用的知識。

發明內容

有鑒于此，本申請實施例提供一種支持多任務和跨任務的小樣本分類訓練方法及裝置。

根據本申請的第一方面，提供一種支持多任務和跨任務的小樣本分類訓練方法，包括：

將小樣本分類問題中的分類任務轉換為標準分類問題中的樣本，并將小樣本分類的目標形式轉換為給定大量任務樣本的情況下學習一種任務解決器；

模擬標準分類問題中的批訓練處理方式，每次迭代處理每個類別中的一些樣本，采用多任務的小樣本分類訓練算法，每次迭代處理多個任務類別中的一些任務樣本；

模擬標準分類問題中的預訓練處理方式，在大規模數據上為類似小規模數據任務預先訓練一個基本模型，采用跨任務的小樣本分類訓練算法，在多類別問題上為小類別問題預先訓練基本模型，并利用預先訓練基本模型對小類別問題進行微調。

在一些實施例中，所述將小樣本分類的目標形式轉換為給定大量任務樣本的情況下學習一種任務解決器，包括：