[發明專利]具有任務特定路徑的多任務神經網絡

在審

• 申請號: 201880005904.X
• 申請日: 2018-01-30
• 公開（公告）號: CN110168578A
• 公開（公告）日: 2019-08-23
• 發明（設計）人: 丹尼爾·彼得·維爾斯特拉;克里桑塔·托馬斯·費爾南多;亞歷山大·普里策爾;迪倫·蘇尼爾·巴納爾斯;查爾斯·布倫代爾;安德烈-亞歷山德魯·魯蘇;約里·茨沃爾斯;戴維·哈
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;任慶威

1.一種系統，包括一個或多個計算機以及存儲指令的一個或多個存儲設備，所述指令在由所述一個或多個計算機執行時使得所述一個或多個計算機實現：

超神經網絡，包括：

一個接一個地布置在堆棧中的多個層，其中，每一層包括相應的多個模塊化神經網絡，并且其中，每一層中的所述模塊化神經網絡均被配置為接收用于該層的層輸入并且生成相應的模塊化輸出；以及

一個或多個輸出層的多個集合，其中，輸出層的每個集合對應于來自多個機器學習任務的不同機器學習任務，并且其中，一個或多個輸出層的每個集合被配置為接收堆棧輸出并且生成特定于對應的機器學習任務的神經網絡輸出；以及

子系統，所述子系統被配置為執行操作，所述操作包括：

接收第一網絡輸入以及從所述多個機器學習任務識別要在所述第一網絡輸入上執行的第一機器學習任務的數據；

選擇特定于所述第一機器學習任務的通過所述多個層的路徑，所述路徑針對所述層中的每一個指定該層中的在執行所述第一機器學習任務時被指派為活動的所述模塊化神經網絡的真子集；以及

使所述超神經網絡使用(i)對每一層，該層中的被所選擇的路徑指派為活動的所述模塊化神經網絡，以及(ii)對應于所識別的第一機器學習任務的一個或多個輸出層的集合，來處理所述第一網絡輸入。

2.根據權利要求1所述的系統，

其中，所述超神經網絡進一步包括：

在所述堆棧中所述多個層中的每一個之后的相應組合層，其中每一個組合層被配置為：

接收由該組合層之前的層中的當前活動的模塊化神經網絡生成的所述模塊化輸出；以及

組合由當前活動的模塊化神經網絡生成的所述模塊化輸出以生成組合輸出，以及

其中，除了在所述堆棧中的最后一層之后的組合層之外的每一個組合層的組合輸出是用于在該組合層之后的層的所述層輸入，并且其中，在所述堆棧中的所述最后一層之后的所述組合層的所述組合輸出是所述堆棧輸出。

3.根據權利要求1或權利要求2中的任一項所述的系統，其中，每一個模塊化神經網絡包括被傳遞函數層跟隨的一個或多個神經網絡層，所述傳遞函數層將傳遞函數應用于所述神經網絡層的輸出。

4.根據權利要求3所述的系統，其中，所述傳遞函數是逐元素激活函數。

5.根據權利要求4所述的系統，其中，所述傳遞函數是整流線性單元函數。

6.根據權利要求1-5中的任一項所述的系統，其中，所述模塊化神經網絡中的至少一個包括一個或多個循環神經網絡層。

7.根據權利要求6所述的系統，其中，所述循環神經網絡層中的一些或全部是長短期記憶(LSTM)層。

8.根據權利要求1-7中的任一項所述的系統，其中，所述模塊化神經網絡中的至少一個包括卷積神經網絡層。

9.根據權利要求1-8中的任一項所述的系統，其中，所述模塊化神經網絡中的至少一個包括完全連接的神經網絡層。

10.根據權利要求1-9中的任一項所述的系統，其中，至少兩個層在所述真子集中具有不同數量的活動的模塊化神經網絡。

11.根據權利要求1-10中的任一項所述的系統，其中，每一層在所述真子集中具有至少一個并且不超過預定數量的活動的模塊化神經網絡。