[發明專利]一種用于小樣本類增量學習的多粒度快慢學習方法

有效

• 申請號: 202011504238.X
• 申請日: 2020-12-18
• 公開（公告）號: CN112633495B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 李璽;趙涵斌;傅永健;康敏桐
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F18/2413;G06F18/214
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

本發明公開了一種用于小樣本類增量學習的多粒度快慢學習方法，方法具體包括以下步驟：連續獲取多個任務的數據流，在每個類增量學習會話只能獲得一個任務的數據；在第一個增量學習會話中，獲取第一個任務的數據，學習得到基任務網絡模型，慢更新模型和快更新模型都以基任務模型作為初始化；在下一個增量學習會話中獲取新任務數據，以慢的多粒度學習方法更新慢更新模型，以快的多粒度學習方法更新快更新模型；每次增量學習會話后，通過慢更新模型得到慢更新特征空間，通過快更新模型得到快更新特征空間，利用兩個空間得到的組合空間進行分類。本發明構建的組合特征空間能有效地平衡舊知識保留和新知識適應，是一種簡單有效的小樣本增量學習方法。

技術領域

本發明涉及深度網絡模型的增量學習領域，尤其涉及一種用于小樣本類增量學習的多粒度快慢學習方法。

背景技術

最近幾年來，類增量學習取得了不錯的發展，目的是在于使得一個學習器從新數據中獲得新知識的同時能夠保留從之前數據中已經學習得到的舊知識。在實際場景中，新數據中的新知識通常在一個更具有挑戰性的小樣本學習場景(即少量標注的樣本)，導致了小樣本增量學習問題。小樣本增量學習通常涉及基本任務(即具有大規模訓練樣本的第一項任務)和新任務(具有有限樣本數)的學習階段。原則上，小樣本增量學習處于緩慢遺忘舊知識和快速適應新知識之間的困境。緩慢的遺忘通常會導致對新任務的抵觸，而快速的適應會導致災難性的遺忘問題。因此，需要實施“慢vs.快”學習方法，以確定要以慢速或快速方式更新哪些知識組件，從而在慢忘和快速適應之間保持權衡。在本專利中，我們專注于探究來自兩個不同粒度的快慢學習性能差異：在同一特征空間內(稱為空間內快慢學習分析)以及在兩個不同特征空間之間(稱為空間之間快慢學習分析)。

現有的用于解決類增量學習問題的方法主要分成以下三類：(1)添加或去除部件的結構化方法；(2)保存過去樣本或其他舊任務信息的預演方法；(3)在已學習的知識限制下正則化網絡參數更新的正則化方法。現有的這方法只能為快慢學習保留統一的特征空間(在不同的特征維度)。由于統一的特征空間具有相互關聯的特征維度，因此很難對特征進行解耦以進行快慢學習分析。此外，舊知識保存和新知識適應的學習方向通常是不一致的(有時甚至是矛盾的)。在小樣本類增量學習的情景下，統一的特征空間傾向于很好地擬合新任務的數據，但會遭受可分辨性和泛化能力的降低以及災難性的遺忘

發明內容

為了解決現有技術中存在的問題，本發明旨在研究設計出一種用于小樣本類增量學習的多粒度快慢學習方法，該方法能夠構建一個慢更新特征空間來減少舊知識遺忘，構建一個快更新特征空間來促進新知識學習，通過慢更新特征空間和快更新特征空間組合得到一個有效的組合特征空間，能很好地平衡舊知識保留和新知識適應。本發明提出的組合特征空間，由慢更新特征空間和快更新特征空間構成，能自適應地編碼新任務知識的同時有效地保持舊任務的特征表達。

本發明具體采用的技術方案如下：

一種基于特征空間組合的小樣本類增量學習方法，其包括以下步驟：

S1、連續獲取多個任務的數據流，在每個類增量學習會話中只能獲得一個任務的訓練數據集；

S2、在第一個類增量學習會話中，以基任務作為第一個任務的訓練數據集，學習得到基任務網絡模型，慢更新網絡模型和快更新網絡模型都以基任務網絡模型作為初始化模型；

S3、在下一個類增量學習會話中，基于新任務的訓練數據集，以慢的多粒度學習方法更新前一個類增量學習會話中訓練得到的慢更新網絡模型，同時以快的多粒度學習方法更新前一個類增量學習會話中訓練得到的快更新網絡模型；

所述慢的多粒度學習方法指在特征空間之間粒度使用小學習率更新特征空間和在特征空間內部粒度對低頻分量做知識遷移時使用大權重；

所述快的多粒度學習方法指在特征空間之間粒度使用大學習率更新特征空間和在特征空間內部粒度對低頻分量做知識遷移時使用小權重；