[發明專利]一種元學習方法及相關裝置

在審

• 申請號: 202011640188.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112884160A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 周峰
• 申請（專利權）人: 北京愛筆科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 柳欣

本申請公開了一種元學習方法及相關裝置。在本申請中每一輪N步內部更新的結果可以用以調整下一輪對第一學習率的衰減系數，實現了第一學習率的衰減系數的自適應調整。在更新過衰減系數后，可以繼續判斷預設訓練截止條件是否滿足，當預設訓練截止條件滿足時，則停止訓練；當預設訓練截止條件不滿足時，則將更新后的衰減系數作為第k+1輪衰減系數，以便于執行對元學習者的第k+1輪N步內部更新。本申請技術方案以元學習者內部更新的結果自適應地調整第一學習率的衰減系數，能夠使內部更新學習率在衰減系數的作用下不斷下調，從而提升元學習者的內部更新效果，使元學習者的內部更新過程更加高效，尋求最優解的過程更加穩定。

技術領域

本申請涉及計算機技術領域，特別是涉及一種元學習方法及相關裝置。

背景技術

在機器學習里，為解決特定場景下的技術問題，通常使用特定場景的大量數據來訓練模型。然而當場景發生改變，模型就需要重新訓練。然而對于人類而言，一個小朋友成長過程中會見過許多物體的照片，某一天，當其第一次僅僅看了幾張狗的照片，就可以很好地對狗和其他物體進行區分。元學習(Meta-learning)含義為學會學習，即learn tolearn，就是帶著這種對人類這種“學習能力”的期望誕生的。元學習希望使得模型獲取一種“學會學習”的能力，使其可以在獲取已有“知識”的基礎上快速學習新的任務。例如讓AlphaGO迅速學會下象棋；讓一個貓咪圖片分類器，迅速具有分類其他物體的能力等。

元學習者指的是一個通用的監督學習算法。初始化指的是訓練一個元學習者，使得該元學習者學習一種參數初始化方式。學習率是一個衡量神經網絡模型權重調整幅度的標量。目前基于初始化的元學習方法中，元學習者的內部更新使用固定的學習率，學習率不做衰減。神經網絡模型的訓練過程是一個尋找近似最優解的過程。元學習中以相同的學習率進行內部更新，表示權重調整幅度始終保持不變，這導致網絡在不同狀態之間反復來回跳躍，因此難以穩定地尋求最優解，也相應影響了元學習者的內部更新效果。

發明內容

基于上述問題，本申請提供了一種元學習方法及相關裝置，以提升元學習者的內部更新效果，使元學習者的內部更新過程更加高效，尋求最優解的過程更加穩定。

本申請實施例公開了如下技術方案：

本申請第一方面提供一種元學習方法，包括：

利用訓練集和第一學習率對元學習者進行第k輪N步內部更新；所述第k輪N步內部更新的過程中以第k輪衰減系數作為對所述第一學習率的衰減系數；所述k為正整數，所述N為大于2的整數；

利用驗證集、第二學習率和所述第k輪的第N步內部更新后的元學習者對所述第k輪衰減系數進行更新，得到更新后的衰減系數；

判斷預設訓練截止條件是否滿足，當所述預設訓練截止條件滿足時，停止訓練；當所述預設訓練截止條件不滿足時，將所述更新后的衰減系數作為第k+1輪衰減系數。

可選地，所述利用訓練集和第一學習率對元學習者進行第k輪N步內部更新，具體包括：

在所述第k輪的第1步內部更新過程中，根據所述元學習者在所述第k輪的初始參數、所述第一學習率和對所述初始參數在所述訓練集上的第一損失的梯度下降結果，獲得第1步內部更新后的元學習者的參數；

在所述第k輪的第j步內部更新過程中，根據所述第j-1步內部更新后的元學習者的參數、所述第k輪衰減系數的j-1次冪、所述第一學習率和對所述第j-1步內部更新后的元學習者的參數在所述訓練集上的第一損失的梯度下降結果，獲得第j步內部更新后的元學習者的參數；所述j為2至N中的任一整數。

可選地，當所述k為1時，所述元學習者在所述第k輪的初始參數為未經過內部更新的所述元學習者的參數；

當所述k為大于1的整數時，所述元學習者在所述第k輪的初始參數為第k-1輪第N步內部更新后的元學習者的參數。