[發明專利]一種基于深度神經網絡的連續學習統一框架

在審

• 申請號: 202010149777.X
• 申請日: 2020-03-06
• 公開（公告）號: CN111382869A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 查爾斯·凌;維克特·盛;方巍;郭奇鋒;常堅;張齊寧;翟培芳
• 申請（專利權）人: 深圳深知未來智能有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 中山市科企聯知識產權代理事務所(普通合伙) 44337
• 代理人: 楊立銘

本發明提供的一種基于深度神經網絡的連續學習統一框架，所述連續學習統一框架包括：通過深度神經網絡的權重逐步學習若干個任務；所述學習若干個任務是通過非遺忘、正向傳輸、避免混淆和向后轉移來學習的；并對學習每個任務的權重進行合并，并設置超參數b值。本發明通過該框架可以通過利用深度神經網絡中的少量權重合并參數來演示所有屬性；另外，框架的行為和機制與人類學習的行為和機制之間得出許多相似之處，如非遺忘、正向傳輸、避免混淆和向后轉移。作為雙向靈感的渠道，進一步了解機器和人類的連續學習。

技術領域

本發明屬于機器學習技術領域，尤其涉及一種基于深度神經網絡的連續學習統一框架。

背景技術

人類具有持續獲得知識和技能的能力，可以根據新的經驗對其進行完善，并在整個生命周期內跨領域轉移它們。數十年來，人類的學習能力一直在啟發著機器的學習方法，這項工作的目標是進一步擴大人類學習對機器的持續學習或終身學習的影響。目前，機器學習的方法通常是一開始就把所有的神經網絡用上去，那么存在一些問題，比如現在需要通過深度神經網絡學習一個比較難的任務，或者學習兩個以上的任務，那么它一開始就從難的任務開始學習或者兩個以上的任務同時學習，這樣它學習的難度會很大，學習的東西也太多，需要的學習時間更長；再比如現在通過深度神經網絡學習了第一個任務，在一段時間后發現還需要學習第二個任務，而深度神經網絡的權重不夠了可能也不知道，那么它在學習第二個任務的時候很可能就會把已學習的第一個任務覆蓋。

為此，我們需要一個框架，該框架可以通過利用深度神經網絡中的少量權重合并參數來演示所有屬性。

發明內容

鑒于上述現有技術的不足之處，本發明的目的旨在解決現有技術中機器學習存在的上述問題。

為了達到上述目的，本發明采取了以下技術方案：

一種基于深度神經網絡的連續學習統一框架，所述連續學習統一框架包括：

通過深度神經網絡的權重逐步學習若干個任務；所述學習若干個任務是通過非遺忘、正向傳輸、避免混淆和向后轉移來學習的；

并對學習每個任務的權重進行合并，并設置超參數b值。

對于本發明的改進，所述超參數b值的大小根據學習任務的需要設置。

對于本發明的改進，所述逐步學習若干個任務包括：

逐步學習第一個任務和學習第二個任務；

所述學習所述第一個任務為括根據所述第一個任務的知識點，選擇第一數量的權重，來對所述第一個任務的知識點進行學習，并對所述第一數量的權重合并，并設置第一超參數b值；

所述學習所述第二個任務包括，若所述第二個任務里的知識點，有與所述第一個任務里的知識點部分相同，則所述第二個任務首先利用所述第二個任務里，與所述第一個任務里已學習相同知識點的權重，所述第二個任務里與所述第一個任務里不相同的知識點，則使用深度神經網絡里其余的新的第二數量的權重，來對所述第二個任務里與所述第一個任務里不同的知識點進行學習，并對學習所述第二任務的權重合并并設置第二超參數b值。

對于本發明的改進，所述連續學習統一框架還包括：修剪所述深度神經網絡的大小。

對于本發明的改進，所述連續學習統一框架還包括：選擇性忘記，所述選擇性忘記用于已經學習知識點的權重忘記已學習的任務或忘記已學習的知識點；使所述忘記已經學習知識點的權重可以重新利用，用來學習新的任務或知識。

對于本發明的改進，所述選擇性忘記是通過啟發式來選擇需要忘記已學習的任務或忘記已學習的知識點。

對于本發明的改進，所述啟發式是通過跟蹤已學習的任務或已學習的知識點的使用頻率來判斷的。

與現有技術相比，本發明的有益效果：