[發(fā)明專利]用于數(shù)據(jù)項(xiàng)生成的循環(huán)神經(jīng)網(wǎng)絡(luò)

在審

• 申請?zhí)枺?/td>: 202110924961.1
• 申請日: 2016-02-06
• 公開（公告）號: CN113705779A
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 卡羅爾·格雷戈?duì)?/a>;伊沃·達(dá)尼赫爾卡
• 申請（專利權(quán)）人: 淵慧科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G10L13/02;G10L25/30
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

本公開涉及用于數(shù)據(jù)項(xiàng)生成的循環(huán)神經(jīng)網(wǎng)絡(luò)。一種方法，包括：使用前一時(shí)間步的解碼器的解碼器隱藏狀態(tài)向量，從所述數(shù)據(jù)項(xiàng)讀取一瞥；作為編碼器的輸入，提供所述一瞥和所述前一時(shí)間步的所述解碼器隱藏狀態(tài)向量以用于處理；作為所述編碼器的輸出，接收該時(shí)間步的所生成的編碼器隱藏狀態(tài)向量；從所述所生成的編碼器隱藏狀態(tài)向量生成解碼器輸入；將所述解碼器輸入提供給所述解碼器以用于處理；作為所述解碼器的輸出，接收該時(shí)間步的所生成的解碼器隱藏狀態(tài)向量；從該時(shí)間步的所述解碼器隱藏狀態(tài)向量生成神經(jīng)網(wǎng)絡(luò)輸出更新；以及將所述神經(jīng)網(wǎng)絡(luò)輸出更新與當(dāng)前神經(jīng)網(wǎng)絡(luò)輸出相結(jié)合，以生成更新的神經(jīng)網(wǎng)絡(luò)輸出。

分案說明

本申請屬于申請日為2016年2月6日的中國發(fā)明專利申請201610139237.7的分案申請。

技術(shù)領(lǐng)域

本說明書涉及通過循環(huán)神經(jīng)網(wǎng)絡(luò)的層處理輸入以產(chǎn)生輸出。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)模型，其采用非線性單元的一個(gè)或多個(gè)層來預(yù)測對于所接收輸入的輸出。除了輸出層之外，一些神經(jīng)網(wǎng)絡(luò)包括一個(gè)或多個(gè)隱藏層。每個(gè)隱藏層的輸出被用作網(wǎng)絡(luò)中的下一層即下一隱藏層或輸出層的輸入。網(wǎng)絡(luò)的每一層根據(jù)各自的參數(shù)集合的當(dāng)前值從所接收的輸入生成輸出。

一些神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)是一種接收輸入序列并從輸入序列生成輸出序列的神經(jīng)網(wǎng)絡(luò)。尤其是，循環(huán)神經(jīng)網(wǎng)絡(luò)可將來自前一時(shí)間步的網(wǎng)絡(luò)的一些或全部內(nèi)部狀態(tài)用在計(jì)算當(dāng)前時(shí)間步的輸出中。循環(huán)神經(jīng)網(wǎng)絡(luò)的示例是長短期記憶(LSTM)神經(jīng)網(wǎng)絡(luò)，其包括一個(gè)或多個(gè)LSTM記憶塊。每個(gè)LSTM記憶塊可以包括一個(gè)或多個(gè)單元，每個(gè)單元包括輸入門、遺忘門、和輸出門，其允許該單元存儲該單元的先前狀態(tài)，例如用于生成當(dāng)前激活或被提供給LSTM神經(jīng)網(wǎng)絡(luò)的其它組件。

發(fā)明內(nèi)容

一般來說，本說明書中描述的主題的一個(gè)創(chuàng)新方面可在系統(tǒng)中實(shí)現(xiàn)，所述系統(tǒng)包括：編碼器神經(jīng)網(wǎng)絡(luò)，其中，該編碼器神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)，其被配置成，對于由該編碼器神經(jīng)網(wǎng)絡(luò)處理的每個(gè)輸入數(shù)據(jù)項(xiàng)和在多個(gè)步中的每個(gè)時(shí)間步處：接收通過從所述輸入數(shù)據(jù)項(xiàng)讀取而捕獲的一瞥(glimpse)；接收前一時(shí)間步的解碼器神經(jīng)網(wǎng)絡(luò)的解碼器隱藏狀態(tài)向量；處理該一瞥、解碼器隱藏狀態(tài)向量、和前一時(shí)間步的所述編碼器神經(jīng)網(wǎng)絡(luò)的編碼器隱藏狀態(tài)向量，以生成該時(shí)間步的編碼器隱藏狀態(tài)向量；解碼器神經(jīng)網(wǎng)絡(luò)，其中該解碼器神經(jīng)網(wǎng)絡(luò)是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，其被配置成，對于多個(gè)時(shí)間步中的每個(gè)：接收該時(shí)間步的解碼器輸入，以及處理前一時(shí)間步的解碼器隱藏狀態(tài)向量和該解碼器輸入，以生成該時(shí)間步的解碼器隱藏狀態(tài)向量；子系統(tǒng)，其中，該子系統(tǒng)配置成，對于時(shí)間步中的每個(gè)時(shí)間步來說：使用前一時(shí)間步的解碼器隱藏狀態(tài)向量，從所述輸入數(shù)據(jù)項(xiàng)讀取該一瞥；提供該一瞥作為所述編碼器神經(jīng)網(wǎng)絡(luò)的輸入；在該時(shí)間步處從編碼器隱藏狀態(tài)向量生成所述解碼器神經(jīng)網(wǎng)絡(luò)的解碼器輸入；提供該解碼器輸入作為該時(shí)間步的所述解碼器神經(jīng)網(wǎng)絡(luò)的輸入；從該時(shí)間步的解碼器隱藏狀態(tài)向量生成該時(shí)間步的神經(jīng)網(wǎng)絡(luò)輸出更新；以及將所述該時(shí)間步的神經(jīng)網(wǎng)絡(luò)輸出更新與當(dāng)前神經(jīng)網(wǎng)絡(luò)輸出相結(jié)合，以生成更新的神經(jīng)網(wǎng)絡(luò)輸出。

該方面的其它實(shí)施例包括在一個(gè)或多個(gè)計(jì)算機(jī)存儲設(shè)備上記錄的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被配置成使一個(gè)或多個(gè)計(jì)算機(jī)實(shí)現(xiàn)包括由子系統(tǒng)執(zhí)行的操作的系統(tǒng)和方法。一個(gè)或多個(gè)計(jì)算機(jī)的系統(tǒng)可以被配置成借助于按照在系統(tǒng)上在操作中可使得系統(tǒng)執(zhí)行動作的軟件、固件、硬件、或其任何組合來執(zhí)行特定的操作或動作。一個(gè)或多個(gè)計(jì)算機(jī)程序可以被配置成借助于包括指令而執(zhí)行特定操作或動作，所述指令在由數(shù)據(jù)處理裝置執(zhí)行時(shí)，使得該裝置執(zhí)行動作。

本說明書中描述的主題可在特定實(shí)施例中實(shí)現(xiàn)，以便實(shí)現(xiàn)下列優(yōu)點(diǎn)中的一個(gè)或多個(gè)優(yōu)點(diǎn)。