[發明專利]一種基于貝葉斯變分推斷的持續學習方法

在審

• 申請號: 202211050124.1
• 申請日: 2022-11-28
• 公開（公告）號: CN115731396A
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 王偉;張志瑩;武聰;肖春嬌;張志遠;王鑫博;谷金濤
• 申請（專利權）人: 遼寧工程技術大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06N5/04;G06N7/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于貝葉斯變分推斷的持續學習方法，其特征在于，包括以下步驟：

1)獲取待訓練的任務，所述待訓練的任務是當前任務圖像和前一個任務所生成的偽樣本圖像；

2)將所述待訓練的任務輸入到模型中進行訓練，經過編碼器進行特征提取，獲得所述任務的均值和協方差；

3)基于貝葉斯變分推斷方法得到網絡中表征的后驗分布，計算參數估計的不確定性，以及模型變分推斷的損失；

4)通過極大似然估計，進行訓練模型分類器，得到最優分類結果；

5)將上述2中得到的潛在特征先驗分布服從高斯混合分布，通過解碼器生成偽樣本圖像，并計算深度生成模型的損失。

2.根據權利要求1所述一種基于貝葉斯變分推斷的持續學習方法，其特征在于，編碼器網絡的進行特征提取，其中z代表數據在隱藏空間中的特征向量。

3.根據權利要求1所述一種基于貝葉斯變分推斷的持續學習方法，其特征在于，貝葉斯變分推斷方法采用的損失函數如下：

其中，t，N_t分別是第t個任務和他所包含的樣本數；表示第n樣本及其真實標簽；q_t(ω)，q_t-1(ω)代表第t和t-1任務的隱藏空間中潛在變量z的后驗分布；ω代表其網絡中得到的參數；在貝葉斯變分推斷中，為了得到其任務的參數分布，采用KL散度(Kullback-Leibler divergence)進行衡量，則KL(q_t(ω)||q_t-1(ω))，為得到當前任務的后驗分布，將前一個任務的后驗分布作為當前模型訓練的先驗分布；為極大似然估計函數；在訓練過程中需要滿足最小化貝葉斯變分推斷損失函數

4.根據權利要求1所述一種基于貝葉斯變分推斷的持續學習方法，其特征在于，所述高斯混合模型(GMM)是一個普遍存在的用于密度估計、模式識別和函數逼近的統計模型，它具有解析可處理性、漸進性和連續密度函數的通用近似能力；在生成偽樣本采用使用高斯混合概率分布代替先驗分布，使得每個類別都有單獨的模型，潛在變量z的分布更加靈活，與此同時增加模型的可塑性，通過對z的采樣限制模型生成指定的類別；則將原有潛在空間的特征進行轉換為：

其中p_Ω(z)分別是深度生成模型GMM后驗分布和先驗分布，Ω是每個高斯模型的均值和標準差的集合，α_k＝y表示輸入類別，K為α_k輸入總數，對應類先驗系數ω_k＝ω'_k＝p(y＝α_k)＝1/k，

進一步基于高斯混合先驗分布得到的潛在變量的KL散度損失：

其中和是第k個目標值平均值和標準差。

5.根據權利要求1所述一種基于貝葉斯變分推斷的持續學習方法，其特征在于，所述解碼器網絡p_φ根據潛在變量z的后驗分布進行重構偽樣本圖片讓潛在變量特征z生成的偽樣本與原始任務輸入數據可能地相似，減小生成偽樣本的誤差，重構損失函數表達式應變為：

其中，φ分別為編碼器和解碼器的分布參數；

進一步深度生成模型的損失函數應為：