[發明專利]一種基于大腦神經突觸記憶機制的面向開放世界連續學習方法

在審

• 申請號: 201811532220.3
• 申請日: 2018-12-14
• 公開（公告）號: CN109657791A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 李海峰;彭劍;蔣浩;李卓
• 申請（專利權）人: 中南大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 黃志興;趙東方

1.一種基于大腦神經突觸記憶機制的面向開放世界連續學習方法，其特征在于，包括如下步驟：

(1)利用深度卷積神經網絡建立感知模塊，對當前視覺任務進行學習；

(2)構建網絡重組模塊，在已訓練好的模型上進行突觸的修剪和強化，從而減少突觸的連接和強化學習到的知識；

(3)在學習新的任務時，通過保留原任務參數空間下的最大響應圖來指導新任務學習，從而避免災難性遺忘。

2.根據權利要求1所述的基于大腦神經突觸記憶機制的面向開放世界連續學習方法，其特征在于，所述步驟(1)包括以下步驟：

(11)根據當前任務類型和數據，構建基于深度卷積神經網絡識別模型，包括基礎網絡和分類器；

(12)在訓練下一個任務時，為該任務分配針對該任務的額外的分類器。

3.根據權利要求1所述的基于大腦神經突觸記憶機制的面向開放世界連續學習方法，其特征在于，所述步驟(2)包括以下步驟：

(21)判定模型中參數的重要性，也就相當于對模型參數進行同等程度的擾動，那么影響模型結果準確性程度更大的參數就是重要參數，反之則為不重要參數；

(22)修剪不重要參數，根據參數重要性，找出最不重要的部分連接，生成對應的掩膜，該掩膜是由0，1構成的mask矩陣，0表示不重要會被修剪，1則表示會保留該連接；

(23)將mask矩陣與參數進行乘法運算，從而修剪掉不重要的連接；然后，采用重訓練的方式，加強保留的連接間的強度。

4.根據權利要求1所述的基于大腦神經突觸記憶機制的面向開放世界連續學習方法，其特征在于，所述步驟(3)包括以下步驟：

(31)在學習完一個任務后，基于基礎模型和對應分類器生成最大響應圖，固定模型訓練后的參數θ，初始化一個輸出X，指定j層第i-th個神經元的值h_ij，找到目標函數X^*能夠使得其值趨于最大，目標函數為：

X^*＝arg_{Xs.t.||X||＝ρ}maxh_ij(θ,X)

(32)在學習新的任務前，對應每個任務對應特定的輸出模塊，通過輸出層生成不同輸出節點的最大響應圖后，將其作為原任務參數空間對應的標準輸出；通過優化當前輸出與標準輸出的距離，來控制連續學習新的任務優化的路徑，以令模型在學習過程中始終保持關于最大響應的記憶，實現公式如下：

loss_AM＝minD(arg_{Xs.t.||X||＝ρ}maxh_ij(θ,X)-X^*)

其中，D表示同一個節點標準響應輸出與當前輸出響應的距離，通過X方向優化θ來最小化距離；學習新的任務T_K時，完整的損失函數形式為：

loss(T_K)是當前任務的目標函數，X_k是前面第k個任務對應生成的最大響應圖。