[發(fā)明專利]具有關(guān)系存儲器的神經(jīng)網(wǎng)絡(luò)

在審

• 申請?zhí)枺?/td>: 201980032400.1
• 申請日: 2019-05-20
• 公開（公告）號: CN112119409A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: J.W.雷;R.福爾克納;T.G.韋伯;D.N.拉波索;A.A.桑托羅;M.克爾扎諾夫斯基
• 申請（專利權(quán)）人: 淵慧科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 金玉潔

1.一種系統(tǒng)，包括一個或多個計算機和一個或多個存儲設(shè)備，該存儲設(shè)備存儲指令，當(dāng)這些指令由一個或多個計算機執(zhí)行時，使該一個或多個計算機實現(xiàn)：

存儲器，其被配置為在存儲器中的多個存儲器位置中的每一個處存儲相應(yīng)的存儲矢量；

基于存儲器的神經(jīng)網(wǎng)絡(luò)，其中基于存儲器的神經(jīng)網(wǎng)絡(luò)被配置為：

在多個時間步長中的每個步長上：

接收輸入；

確定對存儲器的更新，其中，確定更新包括對存儲器中的存儲矢量和接收到的輸入施加注意機制；

使用確定的存儲器更新來更新存儲器；和

使用更新后的存儲器生成針對當(dāng)前時間步長的輸出。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，在所述多個時間步長中的每個時間步長處接收到的輸入是以下中的一個：(i)針對當(dāng)前時間步長的基于存儲器的神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)輸入，或者(ii)從針對當(dāng)前時間步長的基于存儲器的神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)輸入中導(dǎo)出的中間輸入。

3.根據(jù)權(quán)利要求1和2中的任一項所述的系統(tǒng)，其中，所述基于存儲器的神經(jīng)網(wǎng)絡(luò)維護(hù)多個參數(shù)集；

其中，基于存儲器的神經(jīng)網(wǎng)絡(luò)包括多個自注意層，每個自注意層對應(yīng)于相應(yīng)的參數(shù)集、存儲器的相應(yīng)的子存儲器、以及通過將輸入附加到存儲器而創(chuàng)建的附加存儲器的相應(yīng)的子存儲器；

其中，在每個時間步長，每個自注意層都被配置為通過使用相應(yīng)的參數(shù)集對相應(yīng)子存儲器和相應(yīng)子附加存儲器中的存儲矢量施加注意機制，來確定對相應(yīng)子存儲器的建議更新；和

其中，基于存儲器的神經(jīng)網(wǎng)絡(luò)還被配置為在每個時間步長處，將由多個自注意層生成的建議更新進(jìn)行組合，以生成針對存儲器的更新。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中，所述自注意層并行地操作。

5.根據(jù)權(quán)利要求3和4中的任一項所述的系統(tǒng)，其中，組合所述建議更新包括：逐列級聯(lián)所述建議更新以生成針對所述存儲器的更新。

6.根據(jù)權(quán)利要求3-5中的任一項所述的系統(tǒng)，其中，所述多個參數(shù)集的每一個包括相應(yīng)的查詢權(quán)重矩陣、相應(yīng)的關(guān)鍵權(quán)重矩陣和相應(yīng)的值權(quán)重矩陣；以及

其中，在每個時間步長，每個自注意層被配置為通過以下方式確定對相應(yīng)子存儲器的建議更新：

將相應(yīng)子存儲器中存儲矢量的查詢線性投影施加于相應(yīng)查詢權(quán)重矩陣，以生成相應(yīng)查詢矩陣；

將相應(yīng)子附加存儲器中的存儲矢量的關(guān)鍵線性投影施加于關(guān)鍵權(quán)重矩陣以生成相應(yīng)的關(guān)鍵矩陣；

將附加存儲器中的存儲矢量的值線性投影施加于值權(quán)重矩陣以生成相應(yīng)的值矩陣；

將相應(yīng)的查詢矩陣與相應(yīng)的關(guān)鍵矩陣的轉(zhuǎn)置相乘以確定第一臨時矩陣；

將第一臨時矩陣的每個元素除以縮放因子，以確定第二臨時矩陣；

在第二臨時矩陣的每個元素上施加softmax運算符，以生成softmax權(quán)重矩陣；以及

將softmax權(quán)重矩陣與相應(yīng)的值矩陣相乘，以確定相應(yīng)子存儲器的建議更新。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述縮放因子是相應(yīng)關(guān)鍵矩陣中的關(guān)鍵矢量的維數(shù)的平方根。

8.根據(jù)權(quán)利要求3-7中的任一項所述的系統(tǒng)，其中，所述基于存儲器的神經(jīng)網(wǎng)絡(luò)還包括前饋神經(jīng)網(wǎng)絡(luò)和一個或多個存儲器選通層；以及

其中，在每個時間步長，使用更新后的存儲器生成針對當(dāng)前時間步長的輸出包括：

使用前饋神經(jīng)網(wǎng)絡(luò)處理更新的存儲器以生成中間輸出；和

使用一個或多個存儲器選通層對中間輸出進(jìn)行選通，以生成針對當(dāng)前時間步長的輸出。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述前饋神經(jīng)網(wǎng)絡(luò)是多層感知器(MLP)。

10.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中，所述輸入是輸入矢量，并且其中，將所述輸入附加到所述存儲器包括執(zhí)行所述存儲器和所述輸入矢量的逐行級聯(lián)。

11.根據(jù)權(quán)利要求1-10中的任一項所述的系統(tǒng)，其中，所述輸入是輸入矩陣。