[發明專利]用于建模序列數據中長期依賴性的雙重遞歸神經網絡架構

在審

• 申請號: 202011011935.1
• 申請日: 2020-09-22
• 公開（公告）號: CN112633463A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: W·拜永;J·考茨
• 申請（專利權）人: 輝達公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 趙楠

1.一種方法，包括：

識別與輸入序列相關聯的隱藏狀態集；

通過歷史遞歸神經網絡處理所述隱藏狀態集，以學習與所述輸入序列相關聯的單元狀態轉換函數；

通過更新遞歸神經網絡，基于所述單元狀態轉換函數，為所述輸入序列的每個輸入更新當前單元狀態和相應的隱藏狀態。

2.根據權利要求1所述的方法，其中，所述輸入序列是視頻幀的序列。

3.根據權利要求1所述的方法，其中，所述輸入序列是語音序列。

4.根據權利要求1所述的方法，其中，所述歷史遞歸神經網絡和所述更新遞歸神經網絡是長短期記憶(LSTM)網絡。

5.根據權利要求1所述的方法，其中，所述歷史遞歸神經網絡和所述更新遞歸神經網絡是卷積長短期記憶(ConvLSTM)網絡。

6.根據權利要求1所述的方法，其中，所述歷史遞歸神經網絡和所述更新遞歸神經網絡是門控遞歸單元(GRU)網絡。

7.根據權利要求1所述的方法，其中，與所述輸入序列相關聯的所述隱藏狀態集包括與所述輸入序列相關聯的所有隱藏狀態。

8.根據權利要求1所述的方法，其中，所述歷史遞歸神經網絡包括注意力機制。

9.根據權利要求8所述的方法，其中，所述歷史遞歸神經網絡將所述注意力機制應用于與所述輸入序列相關聯的所述隱藏狀態集。

10.根據權利要求9所述的方法，其中，所述注意力機制針對時間步長k計算最后的隱藏狀態與每個較早的隱藏狀態之間的關系，以指示針對每個較早的隱藏狀態的權重。

11.根據權利要求1所述的方法，其中，損失函數用于訓練所述歷史遞歸神經網絡和所述更新遞歸神經網絡。

12.根據權利要求11所述的方法，其中，還利用知覺損失來訓練所述歷史遞歸神經網絡和所述更新遞歸神經網絡。

13.根據權利要求1所述的方法，其中，在先前遞歸層和當前遞歸層之間利用跳過連接。

14.根據權利要求13所述的方法，其中，所述跳過連接將所述先前遞歸層和所述當前遞歸層的輸出聯結在一起。

15.根據權利要求1所述的方法，其中，跨層利用門控跳過連接。

16.根據權利要求15所述的方法，其中，所述門控跳過連接是被添加以控制跨層的信息流的乘法門。

17.根據權利要求1所述的方法，其中，所述歷史遞歸神經網絡和所述更新遞歸神經網絡形成對所述輸入序列所表示的序列數據中的長期依賴性進行建模的雙重遞歸神經網絡架構。

18.根據權利要求17所述的方法，還包括使用所述雙重遞歸神經網絡架構從所述輸入序列預測長期未來數據。

19.一種系統，包括：

歷史遞歸神經網絡，其被配置為處理與輸入序列相關聯的隱藏狀態集，以學習與所述輸入序列相關聯的單元狀態轉換函數；以及

更新遞歸神經網絡，其被配置為基于所述單元狀態轉換函數為所述輸入序列的每個輸入更新當前單元狀態和相應的隱藏狀態。

20.根據權利要求19所述的系統，其中，所述輸入序列是視頻幀的序列或語音序列。