[發明專利]一種基于樣本影響的連續學習方法

在審

• 申請號: 202210822243.8
• 申請日: 2022-07-13
• 公開（公告）號: CN115186827A
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 萬亮;孫晴;呂凡
• 申請（專利權）人: 天津大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F30/20;G06F111/06
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 潘俊達

本發明屬于機器學習中連續學習的技術領域，具體涉及一種基于樣本影響的連續學習方法，從樣本影響的角度，探索訓練樣本對連續學習可塑性和穩定性的影響，利用樣本影響實現人工干預模型訓練。本發明基于元學習的樣本影響獲取，賦予訓練樣本權重微小擾動，采用偽更新后的模型計算驗證集損失，并對樣本權重的微小擾動求導，以此獲取訓練樣本對可塑性和穩定性的影響。此外，本發明的通過求解多目標優化問題來融合樣本對可塑性和穩定性的影響，并得到滿足可塑性和穩定性帕累托最優的融合影響，最后利用上述融合影響，結合模型更新、存儲樣本選取的訓練優化策略，同時提高連續學習模型的可塑性和穩定性。

技術領域

本發明屬于機器學習中連續學習的技術領域，具體涉及一種基于樣本影響 的連續學習方法。

背景技術

相較于靜態的機器學習方法在單一源域上針對特定任務設計特定模型，連 續學習系統可以在復雜的動態環境中能持續自適應地學習新任務，也同時帶來 了兩個相互影響的約束條件——穩定性和可塑性。其中穩定性是指在老任務數 據不可得的條件下，新任務不能干擾現有的知識，帶來災難性遺忘。可塑性是 指在現有知識基礎上，模型能快速地遷移到新知識上去。

連續學習是一種能夠從連續信息流中不斷學習的自適應算法，在對多任務 按序列學習的過程中，要求連續學習模型具有穩定性(對過去知識的抑制遺忘 能力)和可塑性(對新知識的快速獲取能力)。

發明內容

本發明的目的在于：針對現有技術的不足，提供一種基于樣本影響的連續 學習方法，同時提高連續學習模型的可塑性和穩定性。

為了實現上述目的，本發明采用如下技術方案：

一種基于樣本影響的連續學習方法，包括：

步驟一、模擬影響函數，采用偽更新策略，構建樣本-模型-測試集的關聯 關系；

步驟二、融合訓練樣本對可塑性和穩定性的影響，構建多目標優化問題， 獲得可塑性和穩定性平衡的帕累托最優解；

步驟三、利用融合后的影響，結合模型更新和存儲樣本的選取訓練優化策 略，發揮樣本的正影響，抑制樣本的負影響。

優選的，所述步驟一中，采用偽更新策略，構建樣本-模型-測試集的關聯 關系，包括：

1.1、構建一個代表每個訓練樣本權重擾動的可導向量，將微小擾動結合模 型訓練過程中，對模型進行偽更新，得到偽更新后的參數；

1.2、從新任務數據中采樣新任務驗證集，從樣本存儲容器中采樣老任務驗 證集，計算兩個新老任務驗證集在偽更新模型上的損失，用兩個損失分別對微 小擾動求導，得到訓練數據對于可塑性和穩定性的影響。

優選的，所述步驟二中，構建多目標優化問題，獲得可塑性和穩定性平衡 的帕累托最優解，包括：

2.1、將樣本的影響整合到一個多目標優化問題中，將樣本影響融合問題轉 為求解滿足可塑性和穩定性平衡的帕累托最優解；

2.2、將兩種影響進行線性加權，得到每個樣本對于可塑性和穩定性的整體 影響。

優選的，所述步驟三中，結合模型更新和存儲樣本的選取訓練優化策略， 包括：

3.1、在每一步迭代過程中，將融合后影響作為正則項系數結合到模型更新 中，指導模型更新過程。

3.2、在每個任務訓練結束后，將影響大的樣本存儲到樣本存儲容器中，同 時將樣本存儲容器中影響小的樣本替換。