[發明專利]一種基于貝葉斯變分推斷的持續學習方法

在審

• 申請號: 202211050124.1
• 申請日: 2022-11-28
• 公開（公告）號: CN115731396A
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 王偉;張志瑩;武聰;肖春嬌;張志遠;王鑫博;谷金濤
• 申請（專利權）人: 遼寧工程技術大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06N5/04;G06N7/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于貝葉斯變分推斷的持續學習方法，該方法包括：訓練數據采用當前任務樣本和生成偽樣本；將訓練的任務輸入到模型中進行訓練，經過編碼器進行特征提取，獲得所述任務的均值和協方差；基于貝葉斯變分推斷方法得到網絡中表征的后驗分布，計算參數估計的不確定性；通過極大似然估計，進行訓練模型分類器，得到最優分類結果；將先前經過編碼器提取到的潛在特征先驗分布服從高斯混合分布，通過解碼器生成偽樣本圖像，并計算深度生成模型的損失。根據本發明的實施例，模型可以在實現動態環境中精準分類，克服持續學習過程災難性遺忘問題，在實際場景中可以根據上下文信息進行選擇，在實際應用場景中具有重要意義。

技術領域

本發明涉及計算機視覺領域，具體涉及一種在動態學習環境中基于貝葉斯變分推斷的持續學習方法。

背景技術

深度神經網絡在圖像處理方面應用的非常廣泛，在圖像分類、物體檢測、人臉識別和語義分割等方面上已經發展到接近人類的識別水平；盡管深度學習在這些領域上取得了巨大進步，但仍然存在一些問題，在動態和開放環境中獲取連續經驗的能力有著嚴峻的挑戰；任何學習系統都應該適應不斷變化的環境，當在大多數實際應用場景中，面臨的訓練數據是動態數據流，即單一網絡交叉訓練多個任務，會發生訓練新任務時，遺忘之前收集到的信息，導致早期訓練任務的性能急劇下降，這種現象稱為災難性遺忘；尤其是經歷過反向傳播的神經網絡，災難性遺忘被廣泛認為是用神經網絡實現人工通用智能的一個關鍵障礙；最近，持續學習(CL)，也稱為終身學習或增量學習，受到了廣泛的關注，可以使深度神經網絡能夠不斷地保存和擴展知識。

持續學習是在深度學習的基礎上，為了在動態分布的數據流中，可以快速學習新的知識并有效緩解災難性遺忘問題而提出的，其主要工作是獲得一個模型，該模型可以適應輸入數據分布的變化(可塑性)，同時保留過去的知識(穩定性)；目前，持續學習主要包含正則化、網絡結構擴展、參數隔離、記憶重放等方法。

上述持續學習方法，正則化方法是通過對神經網絡中的權重更新施加約束，懲罰改變重要權重來減輕災難性遺忘，通常是在損失函數當中引入一個額外的正則項，限制模型適應新知識的能力；網絡結構擴展是通過擴展網絡結構來實現不遺忘，但后續網絡結構較大，需要內存占用率較大；參數隔離主要采取固定任務的參數，來減少遺忘，容易造成數據冗余計算量較大；記憶重放方法包含主要包含經驗重放和生成為樣本重放，經驗重放方法存儲舊樣本，需要占用大量內存并損害模型的可塑性，生成式重放將持續學習的災難性遺忘轉移到生成網絡上；然而，這些方法均無法實現任務在穩定性和可塑性之間的權衡，有效的防止了災難性遺忘。

針對以上持續學習方法的局限性，有一部分研究開始從貝葉斯變分推斷的角度來避免災難性遺忘，如著名的VCL和DGR方法，通過貝葉斯推理保留模型參數的分布，將前一個任務的后驗作為當前任務的先驗，但這些的推理方法往往不能保持參數的不確定性估計；相對其他的持續學習方法而言，基于貝葉斯的變分推斷持續學習還需要解決：如何保持在單一網絡模型上提供更好的不確定性估計。

發明內容

為了解決上述的目前持續學習在計算機視覺中的部分問題，本發明實施例提供了一種基于貝葉斯變分推斷的持續學習方法，該方法能夠為模型提供更好的不確定估計，有效緩解持續學習訓練過程中對舊任務的災難性遺忘，實現任務的穩定性和可塑性之間的權衡；本申請的技術方案如下：

根據本申請實施例，提供了一種基于貝葉斯變分推斷的持續學習方法，包括：

S1：獲取待訓練的任務，所述待訓練的任務是當前任務圖像和前一個任務所生成的偽樣本圖像；

S2：將所述待訓練的任務輸入到模型中進行訓練，經過編碼器進行特征提取，獲得所述任務的均值和協方差；

S3：基于貝葉斯變分推斷方法得到網絡中表征的后驗分布，計算參數估計的不確定性，以及模型變分推斷的損失；

S4：通過極大似然估計，進行訓練模型分類器，得到最優分類結果；