[發明專利]壓縮的遞歸神經網絡模型

有效

• 申請號: 201611226122.8
• 申請日: 2016-12-27
• 公開（公告）號: CN107145940B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 塔拉·N·賽納特;維卡斯·辛德瓦尼
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

本發明公開了壓縮的遞歸神經網絡模型。本發明提供用于利用壓縮選通函數來實施長短期記憶層的方法、系統、和裝置，包括在計算機存儲介質上編碼的計算機程序。系統之一包括第一LSTM層，該第一LSTM層具有門，門被配置成針對多個時間步長中的每個時間步長，通過使門輸入矢量乘以門參數矩陣來生成相應的中間門輸出矢量。門中的至少一個門的門參數矩陣是結構化矩陣或者由壓縮的參數矩陣和投影矩陣定義。通過將壓縮的LSTM層包括在遞歸神經網絡中，遞歸神經網絡被配置成能夠更有效地處理數據并且使用更少的數據存儲。具有壓縮的LSTM層的遞歸神經網絡可以被有效地訓練以實現可比得上全尺寸的(例如，未壓縮的)遞歸神經網絡的誤字率。

技術領域

本申請涉及壓縮的遞歸神經網絡模型。

背景技術

本說明書涉及神經網絡架構和壓縮的神經網絡。

神經網絡是采用一個或多個層的非線性單元來針對所接收的輸入預測輸出的機器學習模型。除了輸出層之外，一些神經網絡還包括一個或多個隱藏層(hidden layer)。每個隱藏層的輸出用作對網絡中的下一層的輸入，即，下一隱藏層或者輸出層。網絡的每一層根據相應的參數集合的當前值來從所接收的輸入生成輸出。例如針對時間序列問題或者序列到序列學習而設計的那些神經網絡(遞歸神經網絡(RNN))的一些神經網絡包含遞歸環路，該遞歸環路允許存儲器以隱藏狀態變量的形式保留在數據輸入之間的層內。RNN的變型，長短期記憶(LSTM)神經網絡，包括用于控制在數據輸入之間的數據持久性的每個層內多個門(gate)。一些神經網絡(例如，針對時間序列問題或者序列到序列學習而設計的那些神經網絡)包含遞歸環路，該遞歸環路允許存儲器以隱藏狀態變量的形式保留在數據輸入之間的層內。

發明內容

本說明書描述了涉及遞歸神經網絡架構的技術。一般而言，遞歸神經網絡包括被壓縮的至少一個長短期記憶(LSTM)層。LSTM層具有至少一個門，該至少一個門具有壓縮的參數矩陣。可以通過用類托普利茲結構化矩陣代替在LSTM層中的門參數矩陣中的一個或多個，或者通過用壓縮的參數矩陣和投影矩陣重新定義門參數矩陣，來對LSTM層進行壓縮。可選地，可以通過用類托普利茲結構化矩陣代替在LSTM層中的門參數矩陣中的一個來對一個LSTM層進行壓縮，并且可以通過用壓縮的參數矩陣和投影矩陣，重新定義門參數矩陣，來代替在另一LSTM層中的門參數矩陣中的一個，來對另一LSTM層進行壓縮。

對于待配置為執行特定操作或者動作的一個或多個計算機的系統，意味著該系統在其上安裝有在運行時使該系統執行該操作或者動作的軟件、固件、硬件、或者其組合。對于待配置為執行特定操作或者動作的一個或多個計算機程序，意味著該一個或多個程序包括指令，該指令在由數據處理裝置執行時使該裝置執行該操作或者動作。

可以將本說明書中描述的主題實現為具體實施例，從而實現以下優點中的一個或多個。可以通過將壓縮的LSTM層包括在遞歸神經網絡中來提高遞歸神經網絡的性能。具體地，通過將壓縮的LSTM層包括在遞歸神經網絡中，遞歸神經網絡被配置為能夠更有效地處理數據并且使用更少的數據存儲。具有壓縮的LSTM層的遞歸神經網絡可以被有效地訓練為實現可比得上全尺寸的(例如，未壓縮的)遞歸神經網絡的誤字率。

在附圖和以下描述中陳述了本說明書中描述的主題的一個或多個實施例的細節。本主題的其它特征、方面和優點通過說明書、附圖和權利要求書將變得顯而易見。

附圖說明

圖1示出了示例神經網絡系統。

圖2A和圖2B示出了示例性結構化矩陣。

圖3是用于對當前層輸入進行處理以生成下一層輸出的示例性過程的流程圖。

圖4是用于將門應用于門輸入矢量以生成門輸出矢量的示例性過程的流程圖。

圖5是用于對包括飽和LSTM層的遞歸神經網絡進行訓練的示例性過程的流程圖。