[發明專利]用于建模序列數據中長期依賴性的雙重遞歸神經網絡架構

在審

• 申請號: 202011011935.1
• 申請日: 2020-09-22
• 公開（公告）號: CN112633463A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: W·拜永;J·考茨
• 申請（專利權）人: 輝達公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 趙楠

本發明公開了用于建模序列數據中長期依賴性的雙重循環神經網絡遞歸神經網絡架構。學習環境的動態變化并預測將來的后果是一項最新的技術進步，其可以應用于視頻預測，語音識別以及其他應用。通常，機器學習(例如深度學習模型，神經網絡或其他人工智能算法)用于進行預測。但是，當前用于進行預測的人工智能算法通常僅限于進行短期未來預測，這主要是由于以下原因：1)高維視頻數據中存在復雜的動態變化；2)隨時間傳播的預測誤差；以及3)未來的內在不確定性。本公開通過提供雙重(即，兩部分)遞歸神經網絡架構，使得能夠建模用于進行長期預測的序列數據中的長期依賴性。

技術領域

本公開涉及用于未來狀態預測的遞歸神經網絡。

背景技術

學習環境的動態變化并預測未來的后果是具有眾多應用的最新技術進步。這些應用包括視頻預測，語音識別等，并且它們通常使用機器學習(例如深度學習模型，神經網絡或其他人工智能算法)進行預測。在一個示例中，常見的應用是訓練模型(例如深度學習模型)，其以視頻的過去幀為條件準確地預測視頻的像素級未來幀。此特定應用可用于智能代理，以引導他們與世界互動，或用于其他視頻分析任務，例如活動識別。

然而，諸如上述的用于進行預測的當前人工智能算法表現出各種限制。例如，當前技術通常限于做出短期未來預測。例如，卷積長短期記憶(ConvLSTM)網絡已成為視頻預測的流行模型架構選擇，它僅能在一幀或少于十幀的情況下產生高質量的預測。在視頻預測的背景下，由于1)高維視頻數據中存在復雜的動態變化，2)隨著時間的推移傳播預測誤差，以及3)未來固有的不確定性，學習預測長期的未來視頻幀仍然具有挑戰性。

需要解決這些問題和/或與現有技術相關聯的其他問題。

發明內容

公開了一種方法，計算機可讀介質和系統，以提供用于對序列數據中的長期依賴性進行建模的雙重遞歸神經網絡架構。作為第一部分，雙重遞歸神經網絡架構包括歷史遞歸神經網絡，其被配置為處理輸入序列以從與輸入序列相關聯的隱藏狀態集中學習單元狀態轉換函數。作為第二部分，雙重遞歸神經網絡架構包括更新遞歸神經網絡，其被配置為基于單元狀態轉換函數為輸入序列的每個輸入更新當前單元狀態和相應的隱藏狀態。

附圖說明

圖1示出了根據一個實施例的雙重遞歸神經網絡架構方法的流程圖。

圖2示出了根據一個實施例的雙重遞歸神經網絡架構系統的框圖。

圖3示出了根據一個實施例的用于圖2的雙重遞歸神經網絡架構系統的一種實現的注意力機制。

圖4示出了根據一個實施例的用于圖2的雙重遞歸神經網絡架構系統的一種實現的跳過連接。

圖5示出了根據一個實施例的圖2的雙重遞歸神經網絡架構系統中的每個遞歸神經網絡的架構。

圖6A示出了根據一個實施例的推理和/或訓練邏輯。

圖6B示出了根據一個實施例的推理和/或訓練邏輯。

圖7示出了根據一個實施例的神經網絡的訓練和部署。

圖8示出了根據一個實施例的示例性系統。

具體實施方式

通常，神經網絡是可以被訓練以進行預測(推理)的一系列算法。給定一些輸入，經訓練的神經網絡可以預測或推斷輸出。下面參考圖6A-圖7提供關于一般神經網絡的更多信息。