[發明專利]漸進式神經網絡

在審

• 申請號: 201680085917.3
• 申請日: 2016-12-30
• 公開（公告）號: CN109328362A
• 公開（公告）日: 2019-02-12
• 發明（設計）人: 尼爾·查爾斯·拉比諾維茨;紀堯姆·德雅爾丹;安德烈-亞歷山德魯·魯蘇;科拉伊·卡武克曲奧盧;拉亞·泰·哈德塞爾;拉茲萬·帕什卡努;詹姆斯·柯克帕特里克;赫伯特·約瑟夫·索耶
• 申請（專利權）人: 淵慧科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

1.一種由一個或者多個計算機實現的神經網絡系統，所述神經網絡系統包括深度神經網絡DNN序列，

其中，已經對所述DNN序列中的每個DNN進行了訓練以執行相應的機器學習任務，以及其中，所述DNN序列包括：

與第一機器學習任務對應的第一DNN，其中，(i)所述第一DNN包括第一多個索引層，并且(ii)所述第一多個索引層中的每個層被配置為接收相應的層輸入并且處理所述層輸入以生成相應的層輸出；以及

與一個或者多個相應的機器學習任務對應的一個或者多個后續DNN，其中，(i)每個后續DNN包括相應的多個索引層，并且(ii)相應的多個索引層中具有大于1的索引的每個層從(i)所述相應的后續DNN的先前層和(ii)相應的先前DNN的一個或者多個先前層接收輸入，其中，先前層是其索引比當前索引小1的層。

2.根據權利要求1所述的系統，其中，相應的多個索引層中具有等于1的索引的每個層接收相應的后續DNN輸入。

3.根據權利要求1或者2中的任一項所述的系統，其中，(i)所述第一多個索引層包括L個隱藏層，并且(ii)每個相應的多個索引層s包括M_s個隱藏層。

4.根據權利要求3所述的系統，其中，對于每個s，L不等于M_s。

5.根據權利要求3所述的系統，其中，對于一個或者多個s，L等于M_s。

6.根據權利要求3至5中的任一項所述的系統，其中，所述第一多個索引層中的每個層包括隱藏激活其中，n_i表示在層i≤L處的隱藏單元的數量。

7.根據權利要求6所述的系統，其中，相應的多個索引層s中的每個層包括隱藏激活其中，n_j表示在層j≤M_s處的隱藏單元的數量。

8.根據權利要求7所述的系統，其中，機器學習任務的序列包括k+1個機器學習任務，以及其中，第k個后續DNN的激活由以下等式給出：

其中，表示第k個后續DNN的激活，表示第k個后續DNN的層i的權重矩陣，表示從第k個后續DNN的層i到第j個后續DNN的層i-1的橫向連接，并且σ表示元素形式的非線性。

9.根據權利要求7所述的系統，其中，機器學習任務的序列包括k個機器學習任務，以及其中，第k個后續DNN的激活由以下等式給出：

其中，表示第k個后續DNN的激活，表示第k個后續DNN的層i的權重矩陣，表示從第k個后續DNN的層i到第j個后續DNN的層i-1的橫向連接，σ表示元素形式的非線性，表示投影矩陣，并且是學習標量。

10.根據權利要求1至9中的任一項所述的系統，其中，機器學習任務的序列包括獨立的機器學習任務。

11.根據權利要求1至10中的任一項所述的系統，其中，機器學習任務的序列包括(i)對抗機器學習任務、(ii)分類任務、(iii)機器人學習任務或者(iv)生成建模任務中的一個或者多個。