[發(fā)明專利]構(gòu)建和處理用于動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型的計(jì)算圖

在審

• 申請(qǐng)?zhí)枺?/td>: 201780067874.0
• 申請(qǐng)日: 2017-11-03
• 公開(kāi)（公告）號(hào): CN110192210A
• 公開(kāi)（公告）日: 2019-08-30
• 發(fā)明（設(shè)計(jì)）人: 馬爾塞洛·馬蒂亞斯·赫雷斯霍夫
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): G06N99/00
• 分類號(hào): G06N99/00;G06F8/41
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 李寶泉;周亞榮

公開(kāi)了用于構(gòu)造和處理表示動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型的計(jì)算圖的方法、系統(tǒng)和裝置，包括在計(jì)算機(jī)存儲(chǔ)介質(zhì)上編碼的計(jì)算機(jī)程序。示例系統(tǒng)接收識(shí)別能夠?qū)斎霐?shù)據(jù)執(zhí)行的多個(gè)操作的數(shù)據(jù)，以用于由動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型進(jìn)行處理。該系統(tǒng)還接收與用于多個(gè)操作的自變量相對(duì)應(yīng)的多個(gè)標(biāo)簽。有向計(jì)算圖表示動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型的綜合層。然后，該系統(tǒng)接收用于處理的輸入，并且指定通過(guò)有向計(jì)算圖的數(shù)據(jù)流。通過(guò)根據(jù)各個(gè)實(shí)現(xiàn)方式來(lái)構(gòu)建單個(gè)計(jì)算圖，機(jī)器學(xué)習(xí)系統(tǒng)能夠接受并且有效地處理具有不同特征的輸入數(shù)據(jù)。具體地，系統(tǒng)能夠在不需要為每個(gè)輸入重寫計(jì)算圖的情況下處理各種形狀的輸入。

技術(shù)領(lǐng)域

本說(shuō)明書(shū)涉及一種構(gòu)建和處理表示動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型的計(jì)算圖。

背景技術(shù)

機(jī)器學(xué)習(xí)模型接收輸入并基于所接收的輸入和模型參數(shù)的值生成輸出。由一些機(jī)器學(xué)習(xí)模型執(zhí)行的操作能夠是依賴于輸入的，因此，機(jī)器學(xué)習(xí)模型根據(jù)它們的輸入被動(dòng)態(tài)地構(gòu)造。

發(fā)明內(nèi)容

本說(shuō)明書(shū)通常描述了與機(jī)器學(xué)習(xí)系統(tǒng)有關(guān)的技術(shù)，并且具體地描述了用于構(gòu)造表示依賴于輸入的機(jī)器學(xué)習(xí)模型架構(gòu)的單個(gè)計(jì)算圖并且使用計(jì)算圖調(diào)度要處理的輸入的系統(tǒng)和方法。通過(guò)根據(jù)各個(gè)實(shí)施方式來(lái)構(gòu)建單個(gè)計(jì)算圖，機(jī)器學(xué)習(xí)系統(tǒng)能夠接受并有效地處理具有不同特征的輸入數(shù)據(jù)。特別地，在各個(gè)實(shí)施方式中，系統(tǒng)能夠在不需要為每個(gè)輸入重寫計(jì)算圖的情況下處理各種形狀的輸入。

通常，本說(shuō)明書(shū)中描述的主題的一個(gè)創(chuàng)新方面能夠以以下操作的方法被實(shí)施，該方法包括下述活動(dòng)：接收識(shí)別能夠?qū)斎霐?shù)據(jù)執(zhí)行的多個(gè)操作的數(shù)據(jù)，以用于由動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型處理；接收與用于所述多個(gè)操作的自變量相對(duì)應(yīng)的多個(gè)標(biāo)簽；從所識(shí)別的操作和標(biāo)簽生成表示所述動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型的綜合層的有向計(jì)算圖，其中，所述綜合層是包括能夠由所述動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型執(zhí)行的每個(gè)可能操作的層；接收用于由所述動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型處理的輸入，其中，所述輸入包括多個(gè)令牌和指定用于所述多個(gè)令牌的標(biāo)簽的標(biāo)簽數(shù)據(jù)；以及指定通過(guò)所述有向計(jì)算圖的數(shù)據(jù)流以適合所接收的標(biāo)簽數(shù)據(jù)。該方法可以包括使用動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型處理輸入數(shù)據(jù)。在一些實(shí)施方式中，動(dòng)態(tài)結(jié)構(gòu)化機(jī)器學(xué)習(xí)模型被配置成用于自然語(yǔ)言處理。示例系統(tǒng)包括一個(gè)或多個(gè)計(jì)算機(jī)和存儲(chǔ)指令的一個(gè)或多個(gè)存儲(chǔ)設(shè)備，該指令在由一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行時(shí)使得一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行示例方法。

該方面的其他實(shí)施例包括相對(duì)應(yīng)的計(jì)算機(jī)系統(tǒng)、裝置以及在一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)設(shè)備上記錄的計(jì)算機(jī)程序，分別被配置為執(zhí)行這些方法的動(dòng)作。對(duì)于要被配置為執(zhí)行特定操作或動(dòng)作的一個(gè)或多個(gè)計(jì)算機(jī)的系統(tǒng)意味著該系統(tǒng)已經(jīng)在其上安裝了軟件、固件、硬件或它們的組合，其在操作中使系統(tǒng)執(zhí)行操作或動(dòng)作。對(duì)于被配置為執(zhí)行特定操作或動(dòng)作的一個(gè)或多個(gè)計(jì)算機(jī)程序，意味著一個(gè)或多個(gè)程序包括當(dāng)由數(shù)據(jù)處理裝置執(zhí)行時(shí)，使裝置執(zhí)行操作或動(dòng)作的指令。