[發明專利]具有關系存儲器的神經網絡

在審

• 申請號: 201980032400.1
• 申請日: 2019-05-20
• 公開（公告）號: CN112119409A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: J.W.雷;R.福爾克納;T.G.韋伯;D.N.拉波索;A.A.桑托羅;M.克爾扎諾夫斯基
• 申請（專利權）人: 淵慧科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

描述了一種系統，該系統包括一個或多個計算機和一個或多個存儲設備，該存儲設備存儲指令，當該指令由一個或多個計算機執行時，該指令使一個或多個計算機實現：存儲器和基于存儲器的神經網絡。存儲器被配置為在存儲器中的多個存儲器位置中的每一個處存儲相應的存儲矢量。基于存儲器的神經網絡被配置為在多個時間步長中的每個時間步長處：接收輸入；確定對存儲器的更新，其中，確定更新包括對存儲器中的存儲矢量和接收到的輸入施加注意機制；使用確定的存儲器更新來更新存儲器；并使用更新的存儲器為當前時間步長生成輸出。

相關申請的交叉引用

本申請要求于2018年5月18日提交的美國臨時申請序列號62/673,818的優先權。該在先申請的公開內容被視為本申請的一部分，并且通過引用并入本申請的公開內容。

技術領域

本說明書涉及包含關系存儲器核心的神經網絡體系結構。

背景技術

神經網絡是機器學習模型，它使用一層或多層非線性單元來預測針對接收到的輸入的輸出。一些神經網絡除輸出層外還包括一個或多個隱藏層。每個隱藏層的輸出用作網絡中下一層的輸入，即下一個隱藏層或輸出層。網絡的每一層根據相應的一組參數的當前值從接收的輸入生成輸出。

一些神經網絡是遞歸神經網絡。遞歸神經網絡是一種神經網絡，它接收輸入序列并從輸入序列生成輸出序列。特別是，遞歸神經網絡在處理輸入序列中的先前輸入后，會根據輸入序列中的當前輸入生成輸出，從而使用網絡的部分或全部內部狀態。

發明內容

本說明書描述了一種實現為在一個或多個位置的一個或多個計算機上的計算機程序的系統。該系統包括基于存儲器的神經網絡，該神經網絡包括關系存儲器核心。

通常，本說明書中描述的主題的一個創新方面可以體現在一種系統中，該系統包括一個或多個計算機以及一個或多個存儲設備，這些存儲設備存儲指令，當這些指令由一個或多個計算機執行時，使該一個或多個計算機實現存儲器和基于存儲器的神經網絡。存儲器被配置為在存儲器中的多個存儲器位置中的每一個處存儲相應的存儲矢量。基于存儲器的神經網絡被配置為在多個時間步長中的每個時間步長處：接收輸入；確定對存儲器的更新，其中，確定更新包括對存儲器中的存儲矢量和接收到的輸入施加注意機制；使用確定的存儲器更新來更新存儲器；并使用更新的存儲器為當前時間步長生成輸出。

因此，該系統的實現方式明確地允許存儲器，即存儲的存儲矢量，與輸入相互交互，以提供一種關系存儲器核心以供使用，例如，在大范圍的任務中進行關系推理。更具體地，在實施方式中，注意機制在單個時間步長(即，例如，不是遍歷根據所有先前輸入(例如觀察值)計算出的所有先前表示形式)被施加在多個存儲器位置上。

前述和其他實施例均能可選地包括單獨或組合的以下特征中的一個或多個。

在多個時間步長中的每個時間步長處接收到的輸入可以是以下中的一個：(i)針對當前時間步長的基于存儲器的神經網絡的網絡輸入，或者(ii)從針對當前時間步長的基于存儲器的神經網絡的網絡輸入中導出的中間輸入。

基于存儲器的神經網絡可以維護多個參數集。基于存儲器的神經網絡可以包括多個自注意層，每個自注意層對應于相應的參數集、存儲器的相應的子存儲器、以及通過將輸入附加到存儲器而創建的附加存儲器的相應的子存儲器。在每個時間步長，每個自注意層都可以被配置為通過使用相應的參數集對相應子存儲器和相應子附加存儲器中的存儲矢量施加注意機制，來確定對相應子存儲器的建議更新。基于存儲器的神經網絡可以進一步被配置為在每個時間步長處，將由多個自注意層生成的建議更新進行組合，以生成針對存儲器的更新。組合該建議更新可以包括逐列級聯該建議更新以生成存儲器的更新。自注意層可以并行操作。