[發明專利]增量學習方法、裝置、電子設備及機器可讀存儲介質

在審

• 申請號: 202111580305.0
• 申請日: 2021-12-22
• 公開（公告）號: CN114298197A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 吳長虹;程戰戰;鈕毅
• 申請（專利權）人: 上海高德威智能交通系統有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F21/78
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王茹

1.一種增量學習方法，其特征在于，包括：

在增量訓練的過程中，依據初始模型初始化增量模型，得到初始化后的增量模型；其中，所述初始模型依據初始訓練數據進行模型訓練得到；

依據增量訓練數據以及所述初始訓練數據，對所述初始化后的增量模型進行訓練，得到訓練后的增量模型；其中，在增量訓練過程中，依據正則策略對所述初始模型和所述增量模型進行正則約束；所述正則約束包括特征層面的正則約束和/或參數層面的正則約束。

2.根據權利要求1所述的方法，其特征在于，當所述正則約束包括特征層面的正則約束時，所述依據正則策略對所述初始模型和所述增量模型進行正則約束，包括：

依據所述初始訓練數據經過所述初始模型的輸出與所述初始訓練數據經過所述增量模型的輸出的差異，對所述增量模型進行參數優化；

和/或，

當所述正則約束包括參數層面的正則約束時，所述依據正則策略對所述初始模型和所述增量模型進行正則約束，包括：

依據所述初始模型以及所述增量模型中，各層的參數之間的差異，對所述增量模型的深層網絡和預測層進行參數優化。

3.根據權利要求1所述的方法，其特征在于，所述依據增量訓練數據以及所述初始訓練數據，對所述初始化后的增量模型進行訓練，包括：

對所述初始訓練數據以及所述增量訓練數據進行均衡采樣，得到采樣初始訓練數據以及采樣增量訓練數據；

依據所述采樣初始訓練數據以及采樣增量訓練數據，對所述初始化后的增量模型進行訓練。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

依據所述增量訓練數據進行模型訓練，得到新增模型；

依據正則策略對所述新增模型和所述增量模型進行正則約束；

依據所述初始模型和所述增量模型對應的第一正則損失、所述新增模型和所述增量模型對應的第二正則損失，以及所述增量模型的任務損失，確定所述增量模型的最終損失；

依據所述增量模型的最終損失，對所述增量模型的訓練進行反饋。

5.根據權利要求4所述的方法，其特征在于，所述依據所述初始模型和所述增量模型對應的第一正則損失、所述新增模型和所述增量模型對應的第二正則損失，以及所述增量模型的任務損失，確定所述增量模型的最終損失，包括：

依據所述第一正則損失、所述第二正則損失，以及所述任務損失，以及第一正則損失權重、第二正則損失權重、任務損失權重，確定所述增量模型的最終損失；

其中，所述第一正則損失權重依據所述初始模型針對第一驗證集的性能與所述增量模型針對所述第一驗證集的性能確定；所述第二正則損失權重依據所述新增模型針對第二驗證集的性能與所述增量模型針對所述第二驗證集的性能確定。

6.根據權利要求1所述的方法，其特征在于，所述依據增量訓練數據以及所述初始訓練數據，對所述初始化后的增量模型進行訓練之前，還包括：

對第一輸出特征進行特征壓縮，并對得到的壓縮特征進行存儲；其中，所述第一輸出特征為所述初始訓練數據經過所述初始模型的淺層網絡處理后的輸出特征；

所述依據增量訓練數據以及所述初始訓練數據，對所述初始化后的增量模型進行訓練，包括：

依據初始化后的增量模型的淺層網絡對增量訓練數據進行處理，得到第二輸出特征；

以及，對所述壓縮特征進行解壓縮，得到第三輸出特征；

依據所述第二輸出特征以及所述第三輸出特征，對所述初始化后的增量模型的深層網絡和預測層進行訓練。

7.根據權利要求6所述的方法，其特征在于，所述對第一輸出特征進行特征壓縮，包括：

依據所述第一輸出特征對自編碼器進行訓練，所述自編碼器包括編碼網絡和解碼網絡；

依據訓練后的自編碼器中的編碼網絡對所述第一輸出特征進行編碼處理；

所述對所述壓縮特征進行解壓縮，包括：

依據所述訓練后的自編碼器中的解碼網絡對所述壓縮特征進行解碼處理。