[發明專利]經壓縮的遞歸神經網絡模型

在審

• 申請號: 201611262293.6
• 申請日: 2016-12-30
• 公開（公告）號: CN107038476A
• 公開（公告）日: 2017-08-11
• 發明（設計）人: 奧艾斯·阿爾沙里夫;羅希特·普拉卡什·普拉巴瓦爾卡爾;伊恩·C·麥格勞;安托萬·讓·布呂蓋
• 申請（專利權）人: 谷歌公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 周亞榮,安翔

1.一種系統，包括：

由一個或多個計算機實現的經壓縮遞歸神經網絡(RNN)，所述經壓縮RNN包括多個遞歸層，

其中，所述RNN的所述多個遞歸層中的每一個遞歸層被配置為：針對多個時間步長中的每一個時間步長，接收針對該時間步長的相應層輸入，并且處理針對該時間步長的所述層輸入，以生成針對該時間步長的相應層輸出，

其中，所述多個遞歸層中的每一個遞歸層具有相應的遞歸權重矩陣W_h和相應的層間權重矩陣W_x，以及

其中所述多個遞歸層中的至少一個遞歸層被壓縮，使得所述經壓縮層的相應的遞歸權重矩陣由第一經壓縮權重矩陣和投影矩陣P¹定義，并且所述經壓縮層的相應層間權重矩陣由第二經壓縮權重矩陣和投影矩陣P¹定義。

2.根據權利要求1所述的系統，其中所述多個遞歸層中的每一個遞歸層被配置為，針對每個時間步長：

通過將用于先前層的層間權重矩陣應用于對該層的當前輸入以及將用于該層的遞歸權重矩陣應用于對該層的遞歸輸入，來生成針對該時間步長的所述相應層輸出。

3.根據任何在前權利要求所述的系統，其中所述多個遞歸層中的被壓縮的所述至少一個遞歸層被配置為，針對每個時間步長：

部分地通過將所述第一經壓縮權重矩陣和所述投影矩陣應用于針對該層的相應遞歸輸入，來生成針對該時間步長的所述相應層輸出。

4.根據任何在前權利要求所述的系統，其中，所述相應的遞歸權重矩陣由所述第一經壓縮權重矩陣和所述投影矩陣的乘積定義，并且其中，所述相應的層間權重矩陣由所述第二經壓縮矩陣和所述投影矩陣的乘積定義。

5.根據任何在前權利要求所述的系統，其中所述RNN是聲學模型。

6.根據權利要求1-4中任一項所述的系統，其中所述RNN是語音識別模型。

7.根據任何在前權利要求所述的系統，其中所述RNN是所述RNN的未經壓縮版本的至少68％的壓縮。

8.根據權利要求7所述的系統，其中，所述RNN的字錯誤率在所述RNN的未經壓縮版本的字錯誤率的5％以內。

9.一種用于對遞歸神經網絡(RNN)進行壓縮的方法，

其中，所述RNN由一個或多個計算機實現并且包括多個遞歸層，

其中，所述RNN的所述多個遞歸層中的每一個遞歸層被配置為針對多個時間步長中的每一個時間步長，接收針對該時間步長的相應的層輸入，并處理所述層輸入以生成針對該時間步長的相應的層輸出，以及

其中每個遞歸層具有相應的遞歸權重矩陣W_h和相應的層間權重矩陣W_x，針對所述多個遞歸層中的一個遞歸層，所述方法包括：

生成第一經壓縮權重矩陣和投影矩陣P¹，其中所述第一經壓縮權重矩陣和所述投影矩陣的乘積近似所述多個遞歸層中的所述一個遞歸層的所述遞歸權重矩陣；以及

基于所述第一經壓縮權重矩陣和所述投影矩陣P¹生成第二經壓縮權重矩陣其中所述第二經壓縮權重矩陣和所述投影矩陣的乘積近似所述多個遞歸層中的所述一個遞歸層的所述層間權重矩陣。

10.根據權利要求9所述的方法，進一步包括：針對所述多個遞歸層中的所述一個遞歸層：

用所述第一經壓縮權重矩陣和所述投影矩陣的所述乘積替換所述相應的遞歸權重矩陣；以及

用所述第二經壓縮權重矩陣和所述投影矩陣的所述乘積替換所述相應的層間權重矩陣。

11.根據權利要求9或10中任一項所述的方法，其中，所述Z_h和P的相應的秩小于W_h的所述秩。

12.根據權利要求9-11中任一項所述的方法，其中，所述Z_x和P的相應的秩小于W_x的所述秩。

13.根據權利要求9-12中任一項所述的方法，其中，生成所述第二經壓縮權重矩陣Z_x包括將所述投影矩陣求逆，并將所述逆投影矩陣乘以所述層間權重矩陣。