[發明專利]支持多任務和跨任務的小樣本分類訓練方法及裝置

在審

• 申請號: 202011133629.5
• 申請日: 2020-10-21
• 公開（公告）號: CN112200262A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 黃美玉;向雪霜;徐遙
• 申請（專利權）人: 中國空間技術研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京善任知識產權代理有限公司 11650
• 代理人: 張振偉

1.一種支持多任務和跨任務的小樣本分類訓練方法，其特征在于，所述方法包括：

將小樣本分類問題中的分類任務轉換為標準分類問題中的樣本，并將小樣本分類的目標形式轉換為給定大量任務樣本的情況下學習的任務解決器；

模擬標準分類問題中的批訓練處理方式，每次迭代處理每個類別中的一些樣本，采用多任務的小樣本分類訓練算法，每次迭代處理多個任務類別中的一些任務樣本；

模擬標準分類問題中的預訓練處理方式，在大規模數據上為類似小規模數據任務預先訓練基本模型，采用跨任務的小樣本分類訓練算法，在多類別問題上為小類別問題預先訓練基本模型，并利用預先訓練基本模型對小類別問題進行微調。

2.根據權利要求1所述的方法，其特征在于，所述將小樣本分類的目標形式轉換為給定大量任務樣本的情況下學習的任務解決器，包括：

對于標記訓練數據集上的監督學習問題，該問題具有如下的目標函數：

其中，f_θ是具有參數集θ的特定網絡，l是給定的損失函數；

對于定義在具有M個類別、每個類別具有H個樣本的訓練集上的標準分類問題，其中是D維的輸入向量，y_i∈{1，2，…，M}是類別標號，D_j代表集合D中所有y_i＝j的樣本(x_i,y_i)集合，f_θ是需要學習的分類器，通用的損失函數l(f_θ；x_i,y_i)是交叉熵，如下式(2)所示：

其中f_θ(x_i)_j代表f_θ(x_i)的第j個輸出；

考慮在所述訓練集D上的K-way S-shot學習問題，定義任務類別為包含M個類別中的K個索引的類別子空間V∈T，將每個任務類別V中的任務樣本G(V):＝{(τ_i,y_i)}定義為支撐集S_V和對應的查詢集Q_V中查詢樣本(x_i,y_i)的組合；假定RANDOMSAMPLE(C,N)表示從集合C中無放回地隨機均勻采樣N個樣本，則V＝RANDOMSAMPLE({1,…,M},K)，每個任務樣本(τ_i,y_i)被表示成(τ_i＝{S_V,x_i},y_i)，其中(x_i,y_i)＝RANDOMSAMPLE(Q_V,1)，

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

l(f_θ；τ_i,y_i)為原型網絡的損失函數時，則有：

l(f_θ；τ_i,y_i)＝l(f_θ；S_V,x_i,y_i)＝-log p_θ(y＝y_i|S_V,x_i)(5)

其中，d:為距離函數；在給定τ_i＝{S_V,x_i}的情況下，式(5)表示的損失函數與式(2)表示的標準分類問題中的交叉熵損失相對應。