[發明專利]一種元學習方法及相關裝置

在審

• 申請號: 202011640188.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112884160A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 周峰
• 申請（專利權）人: 北京愛筆科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 柳欣

1.一種元學習方法，其特征在于，包括：

利用訓練集和第一學習率對元學習者進行第k輪N步內部更新；所述第k輪N步內部更新的過程中以第k輪衰減系數作為對所述第一學習率的衰減系數；所述k為正整數，所述N為大于2的整數；

利用驗證集、第二學習率和所述第k輪的第N步內部更新后的元學習者對所述第k輪衰減系數進行更新，得到更新后的衰減系數；

判斷預設訓練截止條件是否滿足，當所述預設訓練截止條件滿足時，停止訓練；當所述預設訓練截止條件不滿足時，將所述更新后的衰減系數作為第k+1輪衰減系數。

2.根據權利要求1所述的方法，其特征在于，所述利用訓練集和第一學習率對元學習者進行第k輪N步內部更新，具體包括：

在所述第k輪的第1步內部更新過程中，根據所述元學習者在所述第k輪的初始參數、所述第一學習率和對所述初始參數在所述訓練集上的第一損失的梯度下降結果，獲得第1步內部更新后的元學習者的參數；

在所述第k輪的第j步內部更新過程中，根據所述第j-1步內部更新后的元學習者的參數、所述第k輪衰減系數的j-1次冪、所述第一學習率和對所述第j-1步內部更新后的元學習者的參數在所述訓練集上的第一損失的梯度下降結果，獲得第j步內部更新后的元學習者的參數；所述j為2至N中的任一整數。

3.根據權利要求2所述的方法，其特征在于，

當所述k為1時，所述元學習者在所述第k輪的初始參數為未經過內部更新的所述元學習者的參數；

當所述k為大于1的整數時，所述元學習者在所述第k輪的初始參數為第k-1輪第N步內部更新后的元學習者的參數。

4.根據權利要求2所述的方法，其特征在于，所述訓練集包括第k輪對應的訓練集；所述第k輪對應的訓練集包括第k輪N步內部更新各自對應的訓練子集；

所述初始參數在所述訓練集上的第一損失，具體為：所述初始參數在所述第k輪第1步內部更新對應的訓練子集上的第一損失；

所述第j-1步內部更新后的元學習者的參數在所述訓練集上的第一損失，具體為：所述第j-1步內部更新后的元學習者的參數在所述第j步內部更新對應的訓練子集上的第一損失。

5.根據權利要求2所述的方法，其特征在于，所述在所述第k輪的第j步內部更新過程中，根據所述第j-1步內部更新后的元學習者的參數、所述第k輪衰減系數的j-1次冪、所述第一學習率和對所述第j-1步內部更新后的元學習者的參數在所述訓練集上的第一損失的梯度下降結果，獲得第j步內部更新后的元學習者的參數，具體包括：

獲得所述第一學習率、所述第k輪衰減系數的j-1次冪和所述對所述第j-1步內部更新后的元學習者的參數在所述訓練集上的第一損失的梯度下降結果的第一乘積；

獲得所述第j-1步內部更新后的元學習者的參數與所述第一乘積的第一差值，將所述差值作為所述第j步內部更新后的元學習者的參數。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述利用驗證集、第二學習率和所述第k輪的第N步內部更新后的元學習者對所述第k輪衰減系數進行更新，得到更新后的衰減系數，具體包括：

獲得所述第k輪的第N步內部更新后的元學習者的參數在所述驗證集上的第二損失；

對所述第二損失進行梯度下降，得到所述第二損失的梯度下降結果；

獲得所述第二損失的梯度下降結果和所述第二學習率的第二乘積；

獲得所述第k輪衰減系數和所述第二乘積的第二差值作為所述更新后的衰減系數。

7.根據權利要求6所述的方法，其特征在于，所述驗證集包括第k輪對應的驗證集；

所述第k輪的第N步內部更新后的元學習者的參數在所述驗證集上的第二損失，具體為：所述第k輪的第N步內部更新后的元學習者的參數在所述第k輪對應的驗證集上的第二損失。