[發明專利]一種基于元學習的小樣本學習方法、裝置和電子設備

在審

• 申請號: 202210084037.1
• 申請日: 2022-01-21
• 公開（公告）號: CN114492624A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 樓財義;周華吉;駱振興;鄭仕鏈
• 申請（專利權）人: 中國電子科技集團公司第三十六研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N20/00
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝

1.一種基于元學習的小樣本學習方法，其特征在于，包括：

構建元學習的訓練任務集，所述訓練任務集包括多個訓練任務；

初始化元網絡的模型參數和超參數；

循環更新元網絡的模型參數和超參數，其中利用多個訓練任務更新元網絡的模型參數，利用更新后的模型參數和事先構建的優化網絡優化元網絡的超參數；

在滿足預設條件時，停止優化元網絡，將停止優化時的模型參數和超參數作為元初始參數，在新的任務中基于所述元初始參數對元網絡的模型參數進行訓練，利用訓練好的元網絡進行識別與發現。

2.根據權利要求1所述的方法，其特征在于，每個訓練任務包括第一數據集，第一數據集包括第一支持集和第一查詢集，通過多個訓練任務更新元網絡的模型參數，包括：

對訓練任務集T中的任一訓練任務T_i執行以下步驟：

利用元網絡對訓練任務T_i的第一支持集中的支持樣本數據進行分類，得到分類結果；

利用元網絡計算訓練任務T_i的第一查詢集中的查詢樣本數據與該訓練任務的支持樣本數據的各個分類結果之間的歐氏距離；

將訓練任務T_i的所述歐式距離作為優化目標，通過SGD優化算法對所述元網絡的模型參數進行更新，得到對應于訓練任務T_i的更新后的模型參數。

3.根據權利要求2所述的方法，其特征在于，將訓練任務T_i的所述歐式距離作為優化目標，通過SGD優化算法對所述元網絡的模型參數進行更新，得到對應于訓練任務T_i的更新后的模型參數，包括：

獲取元網絡在所述優化目標下的損失函數和梯度；

計算訓練任務T_i的學習率、所述梯度和所述損失函數三者的乘積；

將元網絡當下的模型參數與所述三者的乘積的差值作為更新后的模型參數。

4.根據權利要求3所述的方法，其特征在于，利用更新后的模型參數和事先構建的優化網絡優化元網絡的超參數，包括：

利用更新后的模型參數更新優化網絡的損失函數；

將元網絡的超參數作為優化網絡的輸入，通過優化網絡對超參數進行優化。

5.根據權利要求4所述的方法，其特征在于，每個訓練任務還包括第二數據集，第二數據集包括第二支持集和第二查詢集，利用更新后的模型參數更新優化網絡的損失函數，包括：

利用更新后的模型參數更新元網絡的模型參數；

利用元網絡對訓練任務T_i的第二支持集中的支持樣本數據進行分類，得到分類結果；

利用元網絡計算訓練任務T_i的第二查詢集中的查詢樣本數據與該訓練任務T_i的支持樣本數據的各個分類結果之間的歐氏距離；

將訓練任務T_i在第二數據集下的所述歐式距離作為優化目標，獲取元網絡在所述優化目標下的損失函數；

利用多個訓練任務的損失函數的和值更新優化網絡的損失函數。

6.根據權利要求2所述的方法，其特征在于，利用元網絡對每個訓練任務的第一支持集中的支持樣本數據進行分類，得到分類結果，包括：

利用元網絡對支持樣本數據進行特征提取，得到特征數據；

根據支持樣本數據的標簽，將具有相同標簽的特征數據分為一類，得到多個初始分類；

對每個初始分類中的特征數據進行平均處理，得到分類結果。

7.根據權利要求6所述的方法，其特征在于，利用元網絡對支持樣本數據進行特征提取，得到特征數據，包括：

利用元網絡的特征提取器對支持樣本數據進行特征提取，所述特征提取器包括多個殘差模塊，每個殘差模塊包括一個卷積層、兩個殘差塊和一個最大池化層。