[發明專利]一種基于FPGA實現稀疏化GRU神經網絡的硬件加速器及方法

有效

• 申請號: 201611105597.1
• 申請日: 2016-12-05
• 公開（公告）號: CN107229967B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 謝東亮;韓松;單羿
• 申請（專利權）人: 賽靈思公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 北京卓孚律師事務所 11821
• 代理人: 任宇

本發明提出一種用于實現稀疏化GRU神經網絡的裝置，包括：輸入接收單元，用于接收多個輸入向量，并將多個輸入向量分配到多個計算單元；多個計算單元，從所述輸入接受單元獲取輸入向量，讀取神經網絡權值矩陣數據，將其解碼后與輸入向量進行矩陣運算，并將矩陣運算結果輸出至隱含層狀態計算模塊；隱含層狀態計算模塊，從所述計算單元PE獲取矩陣運算結果，計算出隱含層狀態；控制單元，用于進行全局控制。另一方面，本發明提出一種通過迭代實現稀疏GRU神經網絡的方法。

本申請要求于2016年8月22日提交的美國專利申請No.15/242,622、于2016年8月22日提交的美國專利申請No.15/242,624、于2016年8月22日提交的美國專利申請15/242,625的優先權。其全部內容在此參考并入。

發明領域

本發明涉人工智能領域，特別地，本發明涉及一種基于FPGA實現稀疏化GRU神經網絡的硬件加速器及方法。

背景技術

RNN簡介

循環神經網絡(RNN)是一類人工神經網絡，其中單元之間的連接形成有向循環。這創建了網絡的內部狀態，其允許其展現動態的時間行為。RNN可以通過具有循環隱藏狀態來處理可變長度序列，其中每個時刻的激活依賴于先前時刻的激活。

傳統地，標準RNN以如下方式計算下一步驟的隱藏層：

h_t＝f(W^(hh)h_t-1+W^(hx)x_t)

其中f是平滑的有界函數，例如邏輯S形函數(logistic sigmoid function)或雙曲正切函數。W^(hh)是狀態到狀態的循環權重矩陣，W^(hx)是輸入到隱藏權重矩陣。

輸入序列是x＝(x₁,...,x_T)。我們可以將任意長度的序列的概率分解為：

p(x₁，...，x_T)＝p(x₁)p(x₂|x₁)p(x₃|x₁，x₂)…p(x_T|x₁，...，x_T-1)

然后，如圖1所示，我們可以訓練RNN來對該概率分布建立模型，給定隱藏狀態h_t，使其預測下一個符號x_t+1的概率。其中h_t是所有先前符號x₁，x₂，...x_t的函數：

p(x_t+1|x₁，…，x_t)＝f(h_t)

隱藏層激活通過從t＝1到T和從n＝2到N重復以下等式來計算：

其中W項表示權重矩陣(例如W_ihⁿ是將輸入連接到第n個隱藏層的權重矩陣，W_h¹_h¹是第一隱藏層的循環連接，等等)，b項表示偏置向量(例如b_y是輸出偏置向量)，H是隱藏層函數。

給定隱藏序列，輸出序列的計算如下：

其中Y是輸出層函數。因此，完整網絡定義了這樣一個函數，由權重矩陣作為參數，從輸入歷史序列x(1：t)到輸出向量y_t。