[發明專利]增量學習方法、裝置、電子設備及機器可讀存儲介質

在審

• 申請號: 202111580305.0
• 申請日: 2021-12-22
• 公開（公告）號: CN114298197A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 吳長虹;程戰戰;鈕毅
• 申請（專利權）人: 上海高德威智能交通系統有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F21/78
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王茹

本申請提供一種增量學習方法、裝置、電子設備及機器可讀存儲介質，該方法包括：在增量訓練的過程中，依據所述初始模型初始化增量模型，得到初始化后的增量模型；依據增量訓練數據以及所述初始訓練數據，對所述初始化后的增量模型進行訓練，得到訓練后的增量模型；其中，在增量訓練過程中，依據正則策略對所述初始模型和所述增量模型進行正則約束；所述正則約束包括特征層面的正則約束和/或參數層面的正則約束。該方法可以緩解增量學習過程中舊知識的遺忘。

技術領域

本申請涉及計算機視覺技術領域，尤其涉及一種增量學習方法、裝置、電子設備及機器可讀存儲介質。

背景技術

深度學習增量應用中，通常需要模型能夠在學習新知識的同時保持舊場景上的表現。

現有技術中，一般會使用之前的全部舊數據和新數據一起聯合訓練，這會帶來較大的存儲空間需求且不利于數據隱私保護。

發明內容

有鑒于此，本申請提供一種增量學習方法、裝置、電子設備及機器可讀存儲介質，以降低增量訓練對存儲空間的需求，并提高數據安全性。

具體地，本申請是通過如下技術方案實現的：

根據本申請實施例的第一方面，提供一種增量學習方法，包括：

在增量訓練的過程中，依據所述初始模型初始化增量模型，得到初始化后的增量模型；其中，所述初始模型依據初始訓練數據進行模型訓練得到；

依據增量訓練數據以及所述初始訓練數據，對所述初始化后的增量模型進行訓練，得到訓練后的增量模型；其中，在增量訓練過程中，依據正則策略對所述初始模型和所述增量模型進行正則約束；所述正則約束包括特征層面的正則約束和/或參數層面的正則約束。

根據本申請實施例的第二方面，提供一種增量學習裝置，包括：

初始化單元，用于在增量訓練的過程中，依據所述初始模型初始化增量模型，得到初始化后的增量模型；其中，所述初始模型依據初始訓練數據進行模型訓練得到；

增量訓練單元，用于依據增量訓練數據以及所述初始訓練數據，對所述初始化后的增量模型進行訓練，得到訓練后的增量模型；其中，在增量訓練過程中，依據正則策略對所述初始模型和所述增量模型進行正則約束；所述正則約束包括特征層面的正則約束和/或參數層面的正則約束。

根據本申請實施例的第三方面，提供一種電子設備，包括處理器和存儲器，所述存儲器存儲有能夠被所述處理器執行的機器可執行指令，所述處理器用于執行機器可執行指令，以實現第一方面提供的方法。

根據本申請實施例的第四方面，提供一種機器可讀存儲介質，所述機器可讀存儲介質內存儲有機器可執行指令，所述機器可執行指令被處理器執行時實現第一方面提供的方法。

本申請提供的技術方案至少可以帶來以下有益效果：

通過利用依據初始訓練數據進行模型訓練得到的初始模型對增量模型進行初始化，并依據增量訓練數據以及初始訓練數據對初始化后的增量模型進行訓練，在增量訓練過程中，對初始模型和增量模型進行特征層面的正則約束和/或參數層面的正則約束，有效緩解了增量學習過程中的舊知識遺忘。

附圖說明

圖1是本申請示例性實施例示出的一種增量學習方法的流程示意圖；

圖2是本申請示例性實施例示出的一種增量學習系統的功能模塊示意圖；

圖3A是本申請示例性實施例示出的一種特征壓縮過程的示意圖；

圖3B是本申請示例性實施例示出的一種增量訓練框架的示意圖；

圖3C是本申請示例性實施例示出的一種利用正則策略對增量訓練過程中舊數據的特征和/或者參數進行正則約束的示意圖；