[發(fā)明專利]具有任務(wù)特定路徑的多任務(wù)神經(jīng)網(wǎng)絡(luò)

在審

• 申請(qǐng)?zhí)枺?/td>: 201880005904.X
• 申請(qǐng)日: 2018-01-30
• 公開（公告）號(hào): CN110168578A
• 公開（公告）日: 2019-08-23
• 發(fā)明（設(shè)計(jì)）人: 丹尼爾·彼得·維爾斯特拉;克里桑塔·托馬斯·費(fèi)爾南多;亞歷山大·普里策爾;迪倫·蘇尼爾·巴納爾斯;查爾斯·布倫代爾;安德烈-亞歷山德魯·魯蘇;約里·茨沃爾斯;戴維·哈
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 李寶泉;任慶威

用于使用多任務(wù)神經(jīng)網(wǎng)絡(luò)的方法、系統(tǒng)和裝置，包括在計(jì)算機(jī)存儲(chǔ)介質(zhì)上編碼的計(jì)算機(jī)程序。一種方法包括接收第一網(wǎng)絡(luò)輸入以及識(shí)別要在第一網(wǎng)絡(luò)輸入上執(zhí)行的第一機(jī)器學(xué)習(xí)任務(wù)的數(shù)據(jù)；選擇特定于第一機(jī)器學(xué)習(xí)任務(wù)的通過(guò)超神經(jīng)網(wǎng)絡(luò)中多個(gè)層的路徑，所述路徑針對(duì)每一層指定層中的在執(zhí)行第一機(jī)器學(xué)習(xí)任務(wù)時(shí)被指派為活動(dòng)的模塊化神經(jīng)網(wǎng)絡(luò)的真子集；并且使超神經(jīng)網(wǎng)絡(luò)使用(i)對(duì)于每一層，層中的被所選擇的路徑指派為活動(dòng)的模塊化神經(jīng)網(wǎng)絡(luò)，以及(ii)對(duì)應(yīng)于所識(shí)別的第一機(jī)器學(xué)習(xí)任務(wù)的一個(gè)或多個(gè)輸出層的集合來(lái)處理第一網(wǎng)絡(luò)輸入。

背景技術(shù)

本說(shuō)明書涉及神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)是使用一個(gè)或多個(gè)非線性單元層來(lái)預(yù)測(cè)對(duì)于接收到的輸入的輸出的機(jī)器學(xué)習(xí)模型。除了輸出層之外，一些神經(jīng)網(wǎng)絡(luò)還包括一個(gè)或多個(gè)隱藏層。每一個(gè)隱藏層的輸出被用作對(duì)網(wǎng)絡(luò)中下一層——即下一個(gè)隱藏層或輸出層——的輸入。網(wǎng)絡(luò)中的每一層根據(jù)相應(yīng)的參數(shù)集合的當(dāng)前值從接收到的輸入生成輸出。

一些神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)是接收輸入序列并且根據(jù)輸入序列生成輸出序列的神經(jīng)網(wǎng)絡(luò)。特別地，循環(huán)神經(jīng)網(wǎng)絡(luò)可以將來(lái)自先前時(shí)間步驟的網(wǎng)絡(luò)的一些或全部?jī)?nèi)部狀態(tài)用于在當(dāng)前時(shí)間步驟處計(jì)算輸出。循環(huán)神經(jīng)網(wǎng)絡(luò)的示例是包括一個(gè)或多個(gè)LSTM存儲(chǔ)器塊的長(zhǎng)短期(LSTM)神經(jīng)網(wǎng)絡(luò)。每一個(gè)LSTM存儲(chǔ)器塊可以包括一個(gè)或多個(gè)單元，其中每一個(gè)單元包括允許單元存儲(chǔ)單元的先前狀態(tài)的輸入門、忘記門和輸出門，例如，用于生成當(dāng)前的激活或被提供到LSTM神經(jīng)網(wǎng)絡(luò)的其他部件。

發(fā)明內(nèi)容

本說(shuō)明書描述了在一個(gè)或多個(gè)位置中的一個(gè)或多個(gè)計(jì)算機(jī)上實(shí)現(xiàn)為計(jì)算機(jī)程序的允許相同的神經(jīng)網(wǎng)絡(luò)用于執(zhí)行多個(gè)機(jī)器學(xué)習(xí)任務(wù)的系統(tǒng)。

因此在一個(gè)方面，系統(tǒng)包括一個(gè)或多個(gè)計(jì)算機(jī)以及存儲(chǔ)指令的一個(gè)或多個(gè)存儲(chǔ)設(shè)備，所述指令在由一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行時(shí)使得一個(gè)或多個(gè)計(jì)算機(jī)實(shí)現(xiàn)超神經(jīng)網(wǎng)絡(luò)。超神經(jīng)網(wǎng)絡(luò)包括一個(gè)接一個(gè)地布置在堆棧中的多個(gè)層。每一層包括相應(yīng)的多個(gè)模塊化神經(jīng)網(wǎng)絡(luò)并且每一層中的模塊化神經(jīng)網(wǎng)絡(luò)均被配置為接收用于該層的層輸入并生成相應(yīng)的模塊化輸出。超神經(jīng)網(wǎng)絡(luò)還包括多個(gè)一個(gè)或多個(gè)輸出層的集合，其中每一個(gè)輸出層的集合對(duì)應(yīng)于來(lái)自多個(gè)機(jī)器學(xué)習(xí)任務(wù)的不同機(jī)器學(xué)習(xí)任務(wù)并且其中每個(gè)一個(gè)或多個(gè)輸出層的集合(共同地)被配置為接收堆棧輸出并且生成特定于相應(yīng)的機(jī)器學(xué)習(xí)任務(wù)的神經(jīng)網(wǎng)絡(luò)輸出。系統(tǒng)還包括被配置為執(zhí)行操作的子系統(tǒng)，所述操作包括：接收第一網(wǎng)絡(luò)輸入以及從多個(gè)機(jī)器學(xué)習(xí)任務(wù)中識(shí)別要在第一網(wǎng)絡(luò)輸入上執(zhí)行的第一機(jī)器學(xué)習(xí)任務(wù)的數(shù)據(jù)；選擇特定于第一機(jī)器學(xué)習(xí)任務(wù)的通過(guò)多個(gè)層的路徑，路徑對(duì)每一層指定層中的在執(zhí)行第一機(jī)器學(xué)習(xí)任務(wù)時(shí)被指派為活動(dòng)的模塊化神經(jīng)網(wǎng)絡(luò)的真子集；并且使超神經(jīng)網(wǎng)絡(luò)使用(i)對(duì)每一層，層中的被所選擇的路徑指派為活動(dòng)的模塊化神經(jīng)網(wǎng)絡(luò)，以及(ii)對(duì)應(yīng)于所識(shí)別的第一機(jī)器學(xué)習(xí)任務(wù)的一個(gè)或多個(gè)輸出層的集合來(lái)處理第一網(wǎng)絡(luò)輸入。

如稍后更詳細(xì)地描述的，所描述的系統(tǒng)的示例能夠有效地學(xué)習(xí)和執(zhí)行多個(gè)任務(wù)。

在一些實(shí)施方式中，超神經(jīng)網(wǎng)絡(luò)進(jìn)一步包括：堆棧中多個(gè)層中的每一層之后的相應(yīng)的組合層。每一個(gè)組合層可以被配置為接收由組合層之前的層中的當(dāng)前活動(dòng)的模塊化神經(jīng)網(wǎng)絡(luò)生成的模塊化輸出；并組合由當(dāng)前活動(dòng)的模塊化神經(jīng)網(wǎng)絡(luò)生成的模塊化輸出以生成組合輸出。在一些實(shí)施方式中，除了在堆棧中的最后一層之后的組合層之外的每一個(gè)組合層的組合輸出是用于該組合層之后的層的層輸入。堆棧中的最后一層之后的組合層的組合輸出可以是堆棧輸出。

每一個(gè)模塊化神經(jīng)網(wǎng)絡(luò)可以包括被傳遞函數(shù)層跟隨的一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)層，所述傳遞函數(shù)層將傳遞函數(shù)應(yīng)用于神經(jīng)網(wǎng)絡(luò)層的輸出。傳遞函數(shù)可以是逐元素激活函數(shù)，例如整流線性單元函數(shù)。

模塊化神經(jīng)網(wǎng)絡(luò)中的至少一個(gè)可包括一個(gè)或多個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)層。循環(huán)神經(jīng)網(wǎng)絡(luò)層中的一些或全部可以是長(zhǎng)短期記憶(LSTM)層。

模塊化神經(jīng)網(wǎng)絡(luò)中的至少一個(gè)可以包括卷積神經(jīng)網(wǎng)絡(luò)層。模塊化神經(jīng)網(wǎng)絡(luò)中的至少一個(gè)可以包括完全連接的神經(jīng)網(wǎng)絡(luò)層。