[發明專利]神經網絡加速器及其數據處理方法

在審

• 申請號: 201911337168.0
• 申請日: 2019-12-23
• 公開（公告）號: CN113095468A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 王佩琪
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

本公開實施例提供一種神經網絡加速器及其數據處理方法，其中神經網絡加速器包括：網絡運算單元和硬件量化單元，其中，所述網絡運算單元包括第一阻變式存儲器ReRAM電路，所述硬件量化單元包括第二ReRAM電路；網絡運算單元，用于對循環神經網絡中目標網絡層的第t輸入數據進行計算處理，得到所述目標網絡層的第t網絡輸出值；硬件量化單元，用于對所述目標網絡層的第t網絡輸出值執行三值量化處理，得到所述第t網絡輸出值的量化結果。

技術領域

本公開涉及機器學習技術，具體涉及神經網絡加速器及其數據處理方法。

背景技術

循環神經網絡(Recurrent Neural Networks，RNNs)在自然語言處理、機器翻譯、語音識別等實際生產生活領域中得到了廣泛的應用。數據中心上運行的任務中使用了RNN網絡結構的占據了約30％的工作負載，而使用了CNN的只占據了5％。與卷積神經網絡(Convolutional Neural Networks,CNNs)相比，RNN任務的計算密集的特征更為明顯。為了處理輸入數據的時序特征，RNN需要存儲輸出序列的部分歷史信息，并對這些信息進行相應的計算，這使得RNN的實際計算需要大量的計算資源和存儲資源。因此，研究如何加快RNN的計算過程是一個重要的問題。

發明內容

本公開實施例至少提供一種神經網絡加速器及其對應的數據處理方法。

第一方面，提供一種神經網絡加速器，所述神經網絡加速器包括：網絡運算單元和硬件量化單元，其中，所述網絡運算單元包括第一阻變式存儲器ReRAM電路，所述硬件量化單元包括第二ReRAM電路；

所述網絡運算單元，用于對循環神經網絡中目標網絡層的第t輸入數據進行計算處理，得到所述目標網絡層的第t網絡輸出值；

所述硬件量化單元，用于對所述目標網絡層的第t網絡輸出值執行三值量化處理，得到所述第t網絡輸出值的量化結果。

結合本公開的任一實施例，所述第二ReRAM電路，包括：第一比較器，用于通過比較所述第t網絡輸出值和量化參考值，得到所述第t網絡輸出值的量化結果。

結合本公開的任一實施例，所述第二ReRAM電路，還包括：第一ReRAM陣列，所述第一ReRAM陣列與所述第一比較器連接；所述第一ReRAM陣列用于存儲所述第t網絡輸出值。

結合本公開的任一實施例，所述第一比較器，位于所述第一ReRAM陣列的第一位線外圍電路中的模數轉換器內，所述量化參考值是所述第一比較器中預先設置的量化閾值。

結合本公開的任一實施例，所述第二ReRAM電路，還包括：隨機數生成器，用于生成隨機數；其中，所述量化參考值為所述隨機數生成器生成的隨機數；所述隨機數生成器，包括ReRAM單元和第二比較器，其中，所述ReRAM單元用于輸出所述ReRAM單元存儲的電阻值對應的電流值；所述第二比較器用于通過比較標準值和所述ReRAM單元輸出的電流值，得到所述隨機數。

結合本公開的任一實施例，所述加速器還包括：第一ReRAM陣列，用于存儲所述第t網絡輸出值的量化結果。

結合本公開的任一實施例，所述加速器還包括：第一字線外圍電路，用于將待存儲的數據進行拆分，得到兩個非負數數據值，其中，所述數據包括：所述第t網絡輸出值，或者，所述第t網絡輸出值的量化結果；其中，所述加速器的第一ReRAM陣列用于存儲所述兩個非負數數據值。

結合本公開的任一實施例，所述第一ReRAM電路包括：第二字線外圍電路和多個第二ReRAM陣列；第二字線外圍電路，用于從存儲器獲取所述第t輸入數據，并將所述第t輸入數據輸入到所述多個第二ReRAM陣列；第二ReRAM陣列，用于以電阻值的方式存儲所述目標網絡層的經過三值量化處理后的網絡參數，并根據所述網絡參數對所述第t輸入數據執行矩陣乘加計算。