[發(fā)明專利]一種用于解決災(zāi)難性遺忘問題的終生學(xué)習(xí)方法

有效

• 申請?zhí)枺?/td>: 202011141948.0
• 申請日: 2020-10-22
• 公開（公告）號: CN112257864B
• 公開（公告）日: 2022-08-16
• 發(fā)明（設(shè)計(jì)）人: 于元隆;劉子夜
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 陳明鑫;蔡學(xué)俊

1.一種用于解決災(zāi)難性遺忘問題的終生學(xué)習(xí)方法，其特征在于，包括如下步驟：

步驟S1：將生成器更新前后的生成數(shù)據(jù)輸入求解器編碼部分，得到模型更新前后的新舊特征，并計(jì)算對應(yīng)特征均值向量；

步驟S2；對特征均值向量進(jìn)行重組，并依據(jù)重組特征均值向量構(gòu)造白化的變換矩陣，得到模型更新前后的正交特征；所述步驟S2具體包括：

步驟S21：利用生成模型更新前的特征均值向量μ_t-1，構(gòu)造對應(yīng)變換矩陣進(jìn)行白化，獲得模型更新前的正交特征；

步驟S22：將新舊特征均值向量μ_t、μ_t-1進(jìn)行線性組合，可得t時(shí)刻穩(wěn)定的特征均值向量：μ_t＝k₁μ_t-1+k₂μ_t；

步驟S23：基于步驟S22獲得的特征均值向量，構(gòu)造對應(yīng)轉(zhuǎn)換矩陣進(jìn)行白化，獲得生成模型更新后的正交特征；

步驟S3：基于正交特征獲得生成模型更新前后的正交風(fēng)格信息；

步驟S4：融合正交風(fēng)格一致性的損失項(xiàng)來更新生成模型，生成可以代表舊任務(wù)的偽數(shù)據(jù)；

所述步驟S3中基于正交特征獲得生成模型更新前后的正交風(fēng)格信息以及步驟S4中融合正交風(fēng)格一致性的損失項(xiàng)來更新生成模型的具體實(shí)現(xiàn)方式如下：

在得到更新前后圖像的正交特征后，依據(jù)風(fēng)格遷移算法，利用Gram矩陣得到在卷積層l下，更新前后圖像的正交特征各自的正交風(fēng)格表示形式G^l(x′_t-1)和G^l(x′_t),同時(shí)可得卷積層l對總正交風(fēng)格損失的貢獻(xiàn)為：

并且總的正交風(fēng)格損失為：

其中是每個(gè)層對第t個(gè)任務(wù)中總損失的貢獻(xiàn)的加權(quán)因子，L為求解器中卷積層的總數(shù)；

具有N^l個(gè)不同過濾器的網(wǎng)絡(luò)層l具有N^l個(gè)特征圖，每個(gè)特征圖的大小為M^l，其中M^l是特征圖的高度乘以寬度；網(wǎng)絡(luò)層l中的正交風(fēng)格信息存儲(chǔ)在矩陣中，其中是第l層中的第i個(gè)過濾器的位置j的激活值；

在特征圖中，每個(gè)數(shù)字都來自在相應(yīng)位置處卷積的相應(yīng)過濾器；特征相關(guān)性由中的Gram矩陣G^l給出，其中是矢量化特征圖i和j之間的內(nèi)積；Gram矩陣的非對角元素表示兩個(gè)濾波輸出特征之間的相關(guān)性，對角元素反映每個(gè)出現(xiàn)在圖像中的濾波輸出特征的值；通過利用構(gòu)建在網(wǎng)絡(luò)不同層上的正交風(fēng)格特征空間捕獲正交樣式信息，獲得圖像的多尺度風(fēng)格表示；

第t個(gè)任務(wù)下生成器的損失為生成模型的損失與正交風(fēng)格損失的和，使得生成模型在更新的過程中保留圖像穩(wěn)定的正交風(fēng)格信息；

其中，為生成對抗模型的損失，γ是正交風(fēng)格損失的權(quán)重；

步驟S5：基于知識(shí)蒸餾算法訓(xùn)練求解器與生成的偽數(shù)據(jù)配對來代表舊任務(wù)，與新數(shù)據(jù)混洗用于求解器的更新；所述步驟S5具體包括：

訓(xùn)練求解器solver：

在任務(wù)t時(shí)刻中，讓在任務(wù)增量步驟t-1中的求解器S_t-1作為教師模型；以教師模型S_t-1來指導(dǎo)學(xué)生模型S_t的學(xué)習(xí)，使得學(xué)生模型S_t在學(xué)習(xí)新任務(wù)同時(shí)維持已知任務(wù)的性能；任務(wù)t時(shí)刻的知識(shí)蒸餾損失：

其中y和是任務(wù)增量步驟t時(shí)刻S_t-1和S_t的預(yù)測矢量，N為S_t-1中類別數(shù)，是記錄的概率和當(dāng)前概率的修改版本：

T是溫度；

通過在訓(xùn)練新任務(wù)時(shí)增加蒸餾損失來減輕先前任務(wù)的遺忘，在t時(shí)刻處求解器更新的損失為：

其中是當(dāng)前任務(wù)的分類損失，β是蒸餾損失的權(quán)重。